2021-06-21

hadoop集群搭建问题

1.配置ssh无密码登录时，仍需密码登录

解决方法：$ ssh-keygen -t rsa $ cd .ssh $ cp id_rsa.pub authorized_keys
对于普通用户来说，要想建立ssh信任链接，对.ssh目录权限要求很严格
sshd为了安全，对属主的目录和文件权限有所要求。如果权限不对，则ssh的免密码登陆不生效。
用户目录权限为 755
rsa_id.pub 及authorized_keys权限一般为644
rsa_id权限必须为600。
$ chmod 600 authorized_keys

2.jps发现进程已经没有，但是重新启动集群，提示进程已经开启

解决：在linux的根目录下/tmp目录中存在启动的进程临时文件
，将集群相关进程删除掉，再重新启动集群

3.停止hadoop的时候出现"“no datanode to stop"的错误

解决：①、删除“/usr/hadoop/tmp”里面的内容：rm -rf /usr/hadoop/tmp

②、重新创建“/usr/hadoop/tmp”文件夹。

③、删除“/tmp”下以“hadoop”开头文件。

④、重新格式化hadoop：hadoop namenode -format

⑤、重新启动hadoop

4.在centos7中配置网络环境后，本机（win10系统）与虚拟机centos7网络不通（本机可以ping通虚拟机，但是虚拟机ping不通本机）

解决：方式1：查看本机win10系统的防火墙是否关闭，若没有，直接关闭win10系统的防火墙即可；

方式2：修改本机配置：windows防火墙-高级设置-入站规则-虚拟机监控（回显请求-ICMPv4-Ln），把这项启用即可。

5、启动Hadoop之前进行格式化namenode时候，hdfs namenode -format，提示：Exitting with status 1；

解决方式：

查看配置文件hdfs-site.xml文件是否配置正确，是否把dfs.namenode.name.dir路径配置正确