把hadoop任务的启动账号从hadoop改为root

停止hadoop服务

停止YARN

以hadoop账号在主控服务器执行以下命令:

./upgrade.sh cmd hosts "yarn-daemon.sh stop nodemanager"
yarn-daemon.sh stop resourcemanager
./upgrade.sh cmd hosts "hadoop-daemon.sh stop datanode"
hadoop-daemon.sh stop namenode

/usr/local/hadoop/etc/hadoop/core-site.xml

  1. 修改主控服务器的文件
    vim /usr/local/hadoop/etc/hadoop/core-site.xml
<property>
        <name>hadoop.http.staticuser.user</name>
        <value>hadoop</value>
    </property>

改为

<property>
        <name>hadoop.http.staticuser.user</name>
        <value>root</value>
    </property>
  1. 分发到其他服务器
./upgrade.sh dist slaves /usr/local/hadoop/etc/hadoop/core-site.xml /usr/local/hadoop/etc/hadoop/

/usr/local/hadoop/etc/hadoop/hdfs-site.xml

修改主控服务器的文件

<property>
        <name>dfs.permissions.superusergroup</name>
        <value>hadoop</value>
    </property>
    <property>
        <name>dfs.web.ugi</name>
        <value>hadoop,hadoop</value>
    </property>
    <property>
        <name>dfs.cluster.administrators</name>
        <value>hadoop</value>
    </property>

改为

    <property>
        <name>dfs.permissions.superusergroup</name>
        <value>hadoop</value>
    </property>
    <property>
        <name>dfs.web.ugi</name>
        <value>hadoop,hadoop</value>
    </property>
    <property>
        <name>dfs.cluster.administrators</name>
        <value>hadoop</value>
    </property>

修改其他服务器的文件

  1. 从普通服务器拷贝文件,以后把10.157.11.171换成所在集群的普通服务器ip地址。
    scp 10.157.11.171:/usr/local/hadoop/etc/hadoop/hdfs-site.xml ./

  2. 和主控服务器一样修改拷贝过来的文件 vim hdfs-site.xml

  3. 分发修改后的文件到除了主控的其余服务器

./upgrade.sh dist slaves hdfs-site.xml /usr/local/hadoop/etc/hadoop/

以下操作以root账号在主控服务器上运行

cd /home/hadoop/setupHadoop
hadoop-daemon.sh start namenode;
./upgrade.sh cmd hosts 'hadoop-daemon.sh start datanode';
yarn-daemon.sh start resourcemanager;
./upgrade.sh cmd hosts 'yarn-daemon.sh start nodemanager';

验证:
下面的作业执行成功,则代表Hadoop配置正确。

hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.1.jar pi 1 1
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值