Hadoop安装笔记（二）

最新推荐文章于 2024-04-15 00:27:23 发布

爱臭美的程序媛

最新推荐文章于 2024-04-15 00:27:23 发布

阅读量448

点赞数 1

文章标签： hadoop

本文链接：https://blog.csdn.net/weixin_39344732/article/details/117367418

版权

**前置条件：

VMWare安装成功
三台Centos安装成功**

继续：
第一步：修改系统名字，及三个系统的ip和名字的映射。
Vim /etc/hostname 修改主机名
Vim /etc/hosts 修改名字和ip映射
目标效果：三个系统能互相ping通，ping ly1
第二步：SSH实现三台机子免密码登录。
4. 在主机master上ssh-keygen –t rsa –P ‘’ –f ~/.ssh/id_dsa 创造公钥私钥
5. cd ~/.ssh
6. cat id_dsa.pub >> ~/.ssh/authorized_keys
7. cd
8. ssh 主机名
上述实现本机免密码登录
9. 在slave1和slave2分别执行产生公钥私钥的命令ssh-keygen –t rsa –P ‘’ –f ~/.ssh/id_dsa
10. 在slave1和slave2分别执行ssh-copy-id master, 将各自公钥添加到host01的authorized_keys的文件中.
11. 在master上执行
scp /root/.ssh/authorized_keys host02:/root/.ssh/
scp /root/.ssh/authorized_keys host03:/root/.ssh/
最终效果，三台机器可以免密互相登录，命令是ssh 主机名

踩坑如下：

1. ERROR: but there is no HDFS_NAMENODE_USER defined. Aborting operation. Starting datanodes

解决方式：

vim hadoop-env.sh

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

2. 启动hadoop，报错Error JAVA_HOME is not set and could not be found

解决方式：

vim hadoop-env.sh

export JAVA_HOME=/opt/module/java/jdk1.8.0_291

3. hdfs网页端界面查看不了

vi hdfs-site.xml，增加这一段配置

<property>
            <name>dfs.namenode.secondary.https-address</name>
            <value>node2:50091</value>
</property>

在sbin文件夹下./stop-dfs.sh，./start-dfs.sh
成功
参考网址：https://zhuanlan.zhihu.com/p/32561305