【无标题】Hadoop~CSDN

1.在虚拟机出现问题时 如果是安装和配置有问题的话 首先我们确保正确安装和配置Hadoop集群。这包括Hadoop的版本兼容性、环境变量设置、配置文件的正确性等 本周我们把Hadop环境变量的配置和配置好的环境变量分发到了其他的节点 

在此过程中编辑环境变量时 没有根据自己的名称去编写导致未能识别 

2.如果出现网络配置问题 要确保Hadoop集群中各个节点之间的网络连接正常。检查防火墙、网络配置和主机名解析等设置 我们所遇见的网络配置原因 主要就是 IP地址的问题 虚拟机与Finalshell 有没有统一IP地址主机的IP地址需要与虚拟机对应  才能进行成功的连接

3.在本周我们修改了hadoop的配置文件 此过程中我出现了

    解决办法:打开hadoop/etc/hadoop目录下的文件hadoop-env.sh,将语句“export JAVA_HOME=$JAVA_HOME”修改为“export JAVA_HOME=你的java路径”(原因是 上面ip地址 修改后 没有统一导致的)

4.在拷贝hadoop所有文件时 我们需要注意修改脚本文件时 要仔细 不然后面会出现 进程少 的问题 

下面是配置好的结果截图

拷贝好文件后 我们需要格式化加启动  首次启动格式化namenode,格式化后会在hadoop的目录下新建logs和data文件夹   注意:格式话 需要在 hadoop下的 bin文件中进行 格式化  代码:hdfs namenode format 进行格式化  格式化成功后 开始我们的集群启动 (注:集群启动 需要在 hadoop中的sbin文件中 进行  要进行两次集群启动 第一次输入:./start-dfs.sh 下面是成功的截图

第一次启动成功后 进行第二次集群启动:./start-yarn.sh 

(注:集群关闭的话 将 start改为stop 即可)

两次集群启动成功后 进行我们的进程检测 输入 :jps 正确的 应该有5个 进程 如果所示

若出现少了进程的情况 一般来说 应该是配置文件时出现问题 解决方法 可以将Hadoop中的 data 和logs进行删除 删除代码是 rm -rf 加文件名  删除后  就是格式化之前的情况 在将配置文件进行检查  检查无误后 重新分配文件 和环境 (分配完后 我们需要将集群停止后再进行格式化 再集群启动)

5.关闭防火墙(集群每个节点都进行此操作)

关闭:systemctl stop firewall。service

查看:systemctl status firewalld.service

防火墙失效设置:systemctl disable firewalld.service

6.总结:本周的Hadoop生态体系技术 我们将 hadoop的安装与配置 ,修改hadoop的配置文件 以及 将修改i好后的hadoop文件拷贝到了其他节点  主要的出现的问题有以下几个方面 :1.网络配置的问题 没有统一ip地址 导致java 不能进行识别 2.修改配置的文件 出现少打 或者打错的问题 导致最后的进程出现少的情况  3.文件命名问题 如 工单上面是hadoop 而我的是hadoop-3.2.2  需要补全 才能进行识别

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值