1.在虚拟机出现问题时 如果是安装和配置有问题的话 首先我们确保正确安装和配置Hadoop集群。这包括Hadoop的版本兼容性、环境变量设置、配置文件的正确性等 本周我们把Hadop环境变量的配置和配置好的环境变量分发到了其他的节点
在此过程中编辑环境变量时 没有根据自己的名称去编写导致未能识别
2.如果出现网络配置问题 要确保Hadoop集群中各个节点之间的网络连接正常。检查防火墙、网络配置和主机名解析等设置 我们所遇见的网络配置原因 主要就是 IP地址的问题 虚拟机与Finalshell 有没有统一IP地址主机的IP地址需要与虚拟机对应 才能进行成功的连接
3.在本周我们修改了hadoop的配置文件 此过程中我出现了
解决办法:打开hadoop/etc/hadoop目录下的文件hadoop-env.sh,将语句“export JAVA_HOME=$JAVA_HOME”修改为“export JAVA_HOME=你的java路径”(原因是 上面ip地址 修改后 没有统一导致的)
4.在拷贝hadoop所有文件时 我们需要注意修改脚本文件时 要仔细 不然后面会出现 进程少 的问题
下面是配置好的结果截图
拷贝好文件后 我们需要格式化加启动 首次启动格式化namenode,格式化后会在hadoop的目录下新建logs和data文件夹 注意:格式话 需要在 hadoop下的 bin文件中进行 格式化 代码:hdfs namenode format 进行格式化 格式化成功后 开始我们的集群启动 (注:集群启动 需要在 hadoop中的sbin文件中 进行 要进行两次集群启动 第一次输入:./start-dfs.sh 下面是成功的截图
第一次启动成功后 进行第二次集群启动:./start-yarn.sh
(注:集群关闭的话 将 start改为stop 即可)
两次集群启动成功后 进行我们的进程检测 输入 :jps 正确的 应该有5个 进程 如果所示
若出现少了进程的情况 一般来说 应该是配置文件时出现问题 解决方法 可以将Hadoop中的 data 和logs进行删除 删除代码是 rm -rf 加文件名 删除后 就是格式化之前的情况 在将配置文件进行检查 检查无误后 重新分配文件 和环境 (分配完后 我们需要将集群停止后再进行格式化 再集群启动)
5.关闭防火墙(集群每个节点都进行此操作)
关闭:systemctl stop firewall。service
查看:systemctl status firewalld.service
防火墙失效设置:systemctl disable firewalld.service
6.总结:本周的Hadoop生态体系技术 我们将 hadoop的安装与配置 ,修改hadoop的配置文件 以及 将修改i好后的hadoop文件拷贝到了其他节点 主要的出现的问题有以下几个方面 :1.网络配置的问题 没有统一ip地址 导致java 不能进行识别 2.修改配置的文件 出现少打 或者打错的问题 导致最后的进程出现少的情况 3.文件命名问题 如 工单上面是hadoop 而我的是hadoop-3.2.2 需要补全 才能进行识别