大数据技术——hadoop集群搭建出现的问题

出现的问题和解决方案 ssh免密出现的问题： 解决方法： 出现上图的是语法错误，在ssh和-keygen中多了空格，去掉即可 2.ssh免密登录出现的问题： ssh登陆报错“WARNING: REMOTE HOST IDENTIFICATION HAS CHANGED“ 解决方法： 1)通过 ssh-keygen 密钥工具更新 ssh-keygen -f ~/.ssh/known_hosts -R 远程主机IP地址 2)手动清除 ～/.ssh/known_hosts 里面报错主机的公钥信息 vi ~/.ssh/known_hosts 3.解压缩移动jdk1.8出现的问题 解决方法： 此时应加上参数-p，即没有找到此目录就自动创建。 sudo tar -zxvf ./jdk-8u162-linux-x64.tar.gz -C /usr/lib/jvm 解压到该目录下 4.配置集群DataNode或NameNode没出现的问题 解决方法： 情况一：host文件域名映射没配 C:\Windows\System32\drivers\etc 找到host文件添加域名映射 情况二：用SCP远程拷贝后又修改了配置文件 这样就算第一台机器jps显示正常，第二台第三台机器配置文件依旧是没有同步 1.执行格式化命令 bin/hdfs namenode -format 2.然后 启动 sbin/start-dfs.sh 3.看日志报错 d /export/servers/hadoop-2.7.5/logs/ cat hadoop-root-namenode-slave41.log 4.第一台机器正常启动可以看见NameNode和DataNode之后进行hadoop安装包的分发 5.第一台机器执行以下命令 cd /export/servers/ scp -r hadoop-2.7.1 slave41:$PWD scp -r hadoop-2.7.1 slave104:$PWD 正常启动Hadoop集群 5. 出现提示信息 ”Error:Java_HOME is not set and could not be found” 解决方法： 该错误是因为JAVA_HOME环境没配置正确，还有一种情况是即使各结点都正确地配置了JAVA_HOME，但在集群环境下还是报该错误 检查JAVA_HOME是否配置正确（伪分布式环境） 输入java -version查看jdk是否安装成功 输入export，查看jdk环境变量是否设置成功 2.在集群环境下，即使各结点都正确地配置了JAVA_HOME，也会报如下错误 在hadoop-env.sh中，再重新声明一遍JAVA_HOME 启动成功 6.配置hadoop格式化namenode时报错 cannot create directory /usr/local/hadoop/tmp/dfs/name/current 解决方法： 该错误是由于权限问题导致的 通过sudo su进入root操作，然后输入命令， sudo chmod -R a+w /usr/local/hadoop usr/local/hadoop为自己的Hadoop地址，如果不确定通过报错的那一行字可以查看 然后再格式化就成功了 7.只能用初始的名字和ip免密登录不能用先改的登录 解决方法： Hostname里面只改了主机名，用户名还是之前的