【无标题】Hadoop~CSDN

1.在虚拟机出现问题时 如果是安装和配置有问题的话 首先我们确保正确安装和配置Hadoop集群。这包括Hadoop的版本兼容性、环境变量设置、配置文件的正确性等 本周我们把Hadop环境变量的配置和配置好的环境变量分发到了其他的节点 

在此过程中编辑环境变量时 没有根据自己的名称去编写导致未能识别 

2.如果出现网络配置问题 要确保Hadoop集群中各个节点之间的网络连接正常。检查防火墙、网络配置和主机名解析等设置 我们所遇见的网络配置原因 主要就是 IP地址的问题 虚拟机与Finalshell 有没有统一IP地址主机的IP地址需要与虚拟机对应  才能进行成功的连接

3.在本周我们修改了hadoop的配置文件 此过程中我出现了

    解决办法：打开hadoop/etc/hadoop目录下的文件hadoop-env.sh，将语句“export JAVA_HOME=$JAVA_HOME”修改为“export JAVA_HOME=你的java路径”（原因是 上面ip地址 修改后 没有统一导致的）

4.在拷贝hadoop所有文件时 我们需要注意修改脚本文件时 要仔细 不然后面会出现 进程少 的问题 

下面是配置好的结果截图

拷贝好文件后 我们需要格式化加启动  首次启动格式化namenode，格式化后会在hadoop的目录下新建logs和data文件夹   注意：格式话 需要在 hadoop下的 bin文件中进行 格式化  代码：hdfs namenode format 进行格式化  格式化成功后 开始我们的集群启动 （注：集群启动 需要在 hadoop中的sbin文件中 进行  要进行两次集群启动 第一次输入：./start-dfs.sh 下面是成功的截图

第一次启动成功后 进行第二次集群启动：./start-yarn.sh 

（注：集群关闭的话 将 start改为stop 即可）

两次集群启动成功后 进行我们的进程检测 输入 :jps 正确的 应该有5个 进程 如果所示

若出现少了进程的情况 一般来说 应该是配置文件时出现问题 解决方法 可以将Hadoop中的 data 和logs进行删除 删除代码是 rm -rf 加文件名  删除后  就是格式化之前的情况 在将配置文件进行检查  检查无误后 重新分配文件 和环境 （分配完后 我们需要将集群停止后再进行格式化 再集群启动）

5.关闭防火墙（集群每个节点都进行此操作）

关闭：systemctl stop firewall。service

查看：systemctl status firewalld.service

防火墙失效设置：systemctl disable firewalld.service

6.总结：本周的Hadoop生态体系技术 我们将 hadoop的安装与配置 ，修改hadoop的配置文件 以及 将修改i好后的hadoop文件拷贝到了其他节点  主要的出现的问题有以下几个方面 ：1.网络配置的问题 没有统一ip地址 导致java 不能进行识别 2.修改配置的文件 出现少打 或者打错的问题 导致最后的进程出现少的情况  3.文件命名问题 如 工单上面是hadoop 而我的是hadoop-3.2.2  需要补全 才能进行识别