大数据环境搭建中的易错点

最新推荐文章于 2024-07-12 07:15:00 发布
最新推荐文章于 2024-07-12 07:15:00 发布
阅读量178 收藏
点赞数
分类专栏： 大数据 文章标签： 网络连接问题
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u014072118/article/details/85872860
版权

设置静态ip 能够连接外网
不能连接外网的解决方法
打开网络配置文件在etc/sysconfig/network-scripts的ifcfg-ens33文件不同版本下命名可能不同

ONBOOT=yes
IPADDR=自己的ip
PREFIX=24
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
GATEWAY=自己的网关
DNS1=自己的DNS
DEFROUTE=yes
PEERDNS=no
PEERROUTES=no
IPV4_FAILURE_FATAL=no
IPV6INIT=no

设置后即可连接外网
(2)防火墙的关闭

[zhd@zhd bin]$ systemctl stop firewalld.service
[zhd@zhd bin]$ systemctl disable firewalld.service

安全模式的退出

hadoop dfsadmin -safemode leave

这三点不设置会导致环境搭建失败并报错

at org.apache.hadoop.hdfs.server.blockmanagement.BlockManager.chooseTarget4NewBlock(
小西转角
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop集群搭建的常见错误
大数据框架Hadoop学习
05-16 981
常见错误整理： 1.Hadoop初始化错误INFO org.apache.hadoop.ipc.Client: Retryingconnect to server: uec-fe/16.157.63.10:9000. Already tried 0 time(s). 这种情况对数出现在启动namenode时成功，但是运行job时就会一直连接。 通过查看TaskTracker日志...
大数据平台搭建及搭建过程出错解析
林中有神君
03-14 227
1、安装第一台虚拟机 （参照博主文章，连接如下） https://blog.csdn.net/weixin_46457946/article/details/114758813 2、配置网卡 （配置网卡前看看你的ifconfig命令能不能用） 一般来说安装最小化界面是没有安装ifconfig命令的，需要我们手动安装 参考以下文章 https://blog.csdn.net/weixin_46457946/article/details/113730988 配置网卡 修改完后重启网卡 （修改完成） 3
Ubuntu14.04 安装CUDA攻略与易错提醒
yiranyhy的博客
02-27 1506
本文为Ubuntu14.04 安装CUDA攻略与易错提醒 【环境】 系统环境：Ubuntu14.04 64位NAVIDA显卡驱动版本号：367.57 这里有个坑注意一下，一般大家来了新电脑之后都会先装一遍显卡驱动，但在装cuda的时候会在过程中再装一遍显卡驱动，两个版本的显卡驱动叠在一起会出错，所以一定要记得在安装时候不能选择安装显卡驱动，除非你本身系统里就没有显卡驱动。 附：通过navid
大数据入门系列 4：全网最全，伪分布式 Hadoop 在 Ubuntu 上的安装流程完整步骤及易错点分析_ubuntu下安装hadop
2401_84166567的博客
05-01 586
Apache Hadoop 的 2.7 版和更高版本需要 Java 7。它是在 OpenJDK 和 Oracle（HotSpot）的 JDK / JRE 上构建和测试的。对于 Hadoop 的伪分布式和全分布式而言，Hadoop 的名称节点（NameNode）需要启动集群中所有机器的 Hadoop 的守护进程，这个过程可以通过 SSH 登陆来实现。对于伪分布式，仅需修改 core-site.xml、hdfs-site.xml 文件，详细修改如下。
大数据入门系列 4：全网最全，伪分布式 Hadoop 在 Ubuntu 上的安装流程完整步骤及易错点分析
白鹿第一帅的 CSDN 博客
10-30 2458
本文为大数据入门系列 4：全网最全，伪分布式 Hadoop 在 Ubuntu 上的安装流程完整步骤及易错点分析，以 ubuntu-18.04.3、hadoop-3.2.1-tar.gz 为例。本系列的其他文章可以移步本人大数据专栏进行查看。对于本篇文章，我个人是很有自信的，一篇文章掌握一门课程核心技术点。
HiveSql工作中常见易错点总结
石榴姐yyds
04-23 1174
0 前言 在进行数仓搭建和数据分析时最常用的就是 sql，其语法简洁明了，易于理解，目前大数据领域的几大主流框架全部都支持sql语法，包括 hive，spark，flink等，所以sql在大数据领域有着不可替代的作用，需要我们重点掌握。 在使用sql时如果不熟悉或不仔细，那么在进行查询分析时极容易出错，接下来我们就来看下几个容易出错的sql语句及使用注意事项。 1. decimal hive 除了支持 int,double,string等常用类型，也支持 decimal 类型，用于在数据库中存储精确
摸鱼大数据——Kafka——Kafka的集群搭建
最新发布
weixin_65694308的博客
07-12 913
2- 分发之后，记得要修改每个server.properties的 id 和 监听地址。(5) 给start-kafka.sh、stop-kafka.sh配置执行权限。5- 启动的时候server.properties中路径，不要写错了。（2）准备slave配置文件，用于保存要启动哪几个节点上的kafka。（1）在 节点1 中创建 /export/onekey 目录。# 2.再在三台集群上都输入以下命令,启动Kafka。# 再启动Kafka。# 2.只在node1上一键启动所有kafka服务。
大数据计算框架复习
qq_53474111的博客
07-09 1184
考试前对于大数据计算框架这门课程知识点的整理，假期利用闲暇时间将其整理至博客供以后方便查阅。
大数据之路之Linux篇
LXWalaz1s1s的博客
03-27 5469
为什么要学习Linux 1. 工作需要，从事IT工作或多或少都要设计Linux； 2. 迟早老子会有钱，要买一台苹果Mac坐在星巴克追剧，那你会发现，Mac的命令行模式竟然和Linux惊人的相识，我每次用到Mac命令行操作都是直接网上直接copy的，不知道啥意思，这是我一个做设计的朋友跟我吐槽的，嘿嘿，就怕哪天你copy了个`rm -rf *` 3.每次看美国大片，发现那些电脑高手都在一个黑框框里啪啦啪啦的敲键盘，他们在敲啥呢？想不想成为他们一样的高手？
javascript几个易错点记录
10-25
以下是一些在实际项目中常常遇到的JavaScript易错点： 1. **清空输入框内容**：当你需要清除`<input>`标签的值时，错误的做法是使用`html("")`，正确的方法是使用`val("")`。`html("")`会清除元素的所有子节点，而`...
javascript 易错知识点实例小结
10-15
然而，对于初学者和经验丰富的开发者来说，JavaScript中的一些易错知识点往往容易被忽视，可能导致程序行为不符合预期。以下是一些关键的JavaScript易错点及其详细解释： 1. `typeof null === 'object'`： 这是一...
C语言易错点摘要.pdf
06-17
C语言易错点摘要
css+div的一些易错点小结
09-25
然而，由于浏览器之间的兼容性差异，开发者经常会遇到一些易错点。以下是一些关于CSS+div布局中常见的问题及其解决方案： 1. **margin和padding的浏览器兼容性问题**： 使用margin和padding可能导致在不同浏览器间...
JavaScript易错知识点整理
10-20
本文主要对JavaScript易错知识点进行整理和汇总。需要的朋友可以看下，希望对大家有所帮助
使用Eclipse编译运行MapReduce程序
迪宝宝的博客
01-06 4977
下载eclipse 64位: http://eclipse.bluemix.net/packages/mars.1/?JAVA-LINUX64 解压到安装目录 安装 Hadoop-Eclipse-Plugin 要在 Eclipse 上编译和运行 MapReduce 程序，需要安装 hadoop-eclipse-plugin文件地址https://download.csdn.net/downlo...
Java应用程序生成JAR包，部署到Hadoop平台上运行
迪宝宝的博客
01-07 1304
应用程序的部署 首先，在Hadoop安装目录下新建一个名称为myapp的目录，用来存放我们自己编写的Hadoop应用程序，可以在Linux的终端中执行如下命令： [zhd@zhd local]$ mkdir myapp 直接点击finish,成功后点击OK 查看是否生成 [zhd@zhd local]$ cd myapp [zhd@zhd myapp]$ ls HDFSExample.ja...
hadoop HDFS 的安装与配置
迪宝宝的博客
01-05 412
hadoop HDFS 的安装与配置 相关文件的处理 直接下载hadoop后解压 环境变量的配置，在安装目录的hadoop下：gedit hadoop-env.sh 配置结束直接保存 3.配置yarn-env.sh gedit yarn-env.sh 4.配置核心组件文件 [zhd@zhd hadoop]$ gedit core-site.xml &lt;!-- 指定HDFS老大（na...
大数据集群环境搭建
迪宝宝的博客
12-22 228
此处不再讲述jdk环境的搭建，前面已有叙述。 静态地址的设置 多台主机之间在一个网段内修改成功后，在root用下执行下列命令 [root@zhd2 zhd]# gedit /etc/hosts 打开文件后： 192.168.67.130 zhd 192.168.67.129 zhd1 保存到文件上。 ping zhd 测试连通性。 免秘钥登录配置 为什么配置免秘钥登录？ 各个系统之间相互通信需要进...
c语言中数组的易错点
11-10
在C语言中，数组是一种非常常用的数据类型，但是在使用数组时也有一些易错点需要注意：\1. 数组越界：在使用数组时，一定要注意数组的下标不要越界，否则会导致程序崩溃或者出现不可预知的结果。\2. 数组初始化：在...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值