2024年最全Hadoop【部署 02】hadoop-3(1),2024年最新成功从小公司跳槽

img
img

网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。

需要这份系统化资料的朋友,可以戳这里获取

一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!

[root@tcloud ~]# vim /usr/local/hadoop-3.1.3/etc/hadoop/yarn-site.xml



yarn.nodemanager.aux-services mapreduce_shuffle yarn.resourcemanager.hostname tcloud yarn.nodemanager.env-whitelist JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME yarn.scheduler.minimum-allocation-mb 128 yarn.scheduler.maximum-allocation-mb 256 yarn.nodemanager.resource.memory-mb 256 yarn.nodemanager.pmem-check-enabled false yarn.nodemanager.vmem-check-enabled false yarn.log-aggregation-enable true yarn.log.server.url http://tcloud:19888/jobhistory/logs yarn.log-aggregation.retain-seconds 604800

#### 2.修改启动和停止shell脚本



[root@tcloud hadoop]# vim /usr/local/hadoop-3.1.3/sbin/start-yarn.sh
[root@tcloud hadoop]# vim /usr/local/hadoop-3.1.3/sbin/stop-yarn.sh


start-yarn.sh,stop-yarn.sh 这两个文件顶部添加以下参数:



YARN_RESOURCEMANAGER_USER=root
HDFS_DATANODE_SECURE_USER=yarn
YARN_NODEMANAGER_USER=root


#### 3. 启动服务


进入 ${HADOOP\_HOME}/sbin/ 目录下,启动 YARN:



[root@tcloud sbin]# ./start-yarn.sh


#### 4. 验证是否启动成功


方式一:执行 jps 命令查看 NodeManager 和 ResourceManager 服务是否已经启动:


![img](https://img-blog.csdnimg.cn/img_convert/956da1e5c7b22354cda1b0cc802332be.png)
![img](https://img-blog.csdnimg.cn/img_convert/d45506cc55aedfe1b71ffb64c1193f97.png)

**网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。**

**[需要这份系统化资料的朋友,可以戳这里获取](https://bbs.csdn.net/topics/618545628)**


**一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!**

pics/618545628)**


**一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!**

  • 4
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值