ubuntu 安装hadoop3遇到的坑

已经被前人踩过的坑：
https://www.cnblogs.com/chenlove/p/10733878.html

自己在安装过程中遇到的问题：

1. hdfs namenode -format即时shutting down也可能是安装成功的。
   
2. 在start-dfs.sh中始终遇到

 Permission denied (publickey,password).
Starting datanodes
localhost: Permission denied (publickey,password).
Starting secondary namenodes [BuildServer]
BuildServer: Permission denied (publickey,password).

这个permission denied怀疑是没有建立hadoop账号和权限引起的。
因为个人使用的是服务器上分配的个人账号，尝试自己给自己免认证登录。

ssh-keygen -t rsa    //用这个生成秘钥
ssh-copy-id -i ~/.ssh/id_rsa.pub x.x.x.x   //x.x.x.x替换成服务器名
ssh x.x.x.x   //尝试试下能否不输入密码登录

然后重新执行 hdfs namenode -format 并执行 start-dfs.sh

3. mapred-site.xml注意需要添加新的字段，不添加这个运行后面的实例会报错。

<configuration>
<!-- 指定mr运行在yarn上 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapreduce.admin.user.env</name>
        <value>HADOOP_MAPRED_HOME=$HADOOP_COMMON_HOME</value>
    </property>
    <property>
        <name>yarn.app.mapreduce.am.env</name>
        <value>HADOOP_MAPRED_HOME=$HADOOP_COMMON_HOME</value>
    </property>
</configuration>

4. hadoop 2.x 和hadoop3.x 所使用的端口不一样，请参考如下的连接查看端口对应

https://blog.csdn.net/qq_35975685/article/details/84311627