hadoop修改配置文件和环境变量_hadoop命令环境变量export配置

vi hdfs-site.xml

#在configuration标签内添加内容

<!-- 设置SNN进程运行机器位置信息 -->
<property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>node2:9868</value>
</property>

补充：这里指定secondarynamenode在node2上，也就意味着我们jps时，这个进程是显示在node2节点上，而不是node1，如果想要放在node1上，只需修改value的值即可。

4、mapred-site.xml

作用：mapreduce相关的
注意：有些版本是没有mapred-site.xml文件的，只有mapred-site.xml.template模板，可以先复制一份这样的模板，再去修改。
1）备份mapred-site.xml.template

cp mapred-site.xml.template mapred-site.xml

如果有mapred-site.xml，忽略这一步。

2）修改文件

vi mapred-site.xml

<!-- 设置MR程序默认运行模式： yarn集群模式 local本地模式 -->
<property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
</property>

<!-- MR程序历史服务地址 -->
<property>
  <name>mapreduce.jobhistory.address</name>
  <value>node1:10020</value>
</property>

<!-- MR程序历史服务器web端地址 -->
<property>
  <name>mapreduce.jobhistory.webapp.address</name>
  <value>node1:19888</value>
</property>

<property>
  <name>yarn.app.mapreduce.am.env</name>
  <value>HADOOP_MAPRED_HOME=${HADOOP\_HOME}</value>
</property>

<property>
  <name>mapreduce.map.env</name>
  <value>HADOOP_MAPRED_HOME=${HADOOP\_HOME}</value>
</property>

<property>
  <name>mapreduce.reduce.env</name>
  <value>HADOOP_MAPRED_HOME=${HADOOP\_HOME}</value>
</property>

5、yarn-site.xml

作用：与yarn相关的,指定resourcemanager的位置信息。

vi yarn-site.xml

#在configuration标签内添加内容

<!-- 设置YARN集群主角色运行机器位置 -->
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>node1</value>
</property>

<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>

<!-- 是否将对容器实施物理内存限制 -->
<property>
    <name>yarn.nodemanager.pmem-check-enabled</name>
    <value>false</value>
</property>

<!-- 是否将对容器实施虚拟内存限制。 -->
<property>
    <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
</property>

<!-- 开启日志聚集 -->
<property>
  <name>yarn.log-aggregation-enable</name>
  <value>true</value>
</property>

<!-- 设置yarn历史服务器地址 -->
<property>
    <name>yarn.log.server.url</name>
    <value>http://node1:19888/jobhistory/logs</value>
</property>

<!-- 历史日志保存的时间 7天 -->
<property>
  <name>yarn.log-aggregation.retain-seconds</name>
  <value>604800</value>
</property>

6、workers

作用：指定工作的节点有哪些。
注意：在hadoop3.0以前，这个文件叫slaves，3.0之后叫做workers。由于我这里是hadoop3.3.0，所以

vi workers

把文件里面的localhost删除，添加以下内容

node1
node2
node3

补充： /etc/hosts 和 workers 这两个文件里的主机名写法应该保持一致，否则会导致启动集群时，系统无法识别主机名。比如我/etc/hosts 里写的是node1，那 workers 里写的也应该是node1，而不是node1.itcast.cn。

至此，配置文件修改完成。

三、分发同步hadoop

先前并没有同步hadoop服务，是因为想等修改好配置文件后，再把整个hadoop目录同步过去。
1）回到服务安装路径下，也就是我这里的/export/servers。

cd /export/servers

2）执行以下命令

scp -r hadoop-3.3.0 root@node2:$PWD
scp -r hadoop-3.3.0 root@node3:$PWD

补充：$PWD表示当前节点所在的绝对路径，在这里就是/export/servers,
在执行上述命令后，会把node1当前路径下的hadoop-3.3.0目录及其子目录、文件 复制到 node2和node3 的相同路径(/export/servers)下。也就是root@node2:/export/servers 的另一种写法。

至此，所有节点都安装了hadoop。

四、配置环境变量

光是下载好jdk和hadoop是不行的，系统不知道它们的路径，也就无法正常使用它们。就像我们在命令符界面使用某些工具时，都需要去到相应的路径才能正常使用一样。
负责环境变量的文件是/etc/profile。

1、修改环境变量

vi /etc/profile

将下面内容添加到profile文件中，然后保存退出。

#java path
export JAVA\_HOME=/export/servers/jdk1.8.0_241
export PATH=$PATH:$JAVA\_HOME/bin
export CLASSPATH=.:$JAVA\_HOME/lib/dt.jar:$JAVA\_HOME/lib/tools.jar
#hadoop path
export HADOOP\_HOME=/export/servers/hadoop-3.3.0
export PATH=$PATH:$HADOOP\_HOME/bin:$HADOOP\_HOME/sbin

补充：一定要以自己的jdk和hadoop安装路径为准

2、分发环境变量文件

将修改好的profile分件分发给其它节点，就无需每个都配置一次。

scp /etc/profile root@node2:/etc/
scp /etc/profile root@node3:/etc/



**自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。**

**深知大多数大数据工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！**

**因此收集整理了一份《2024年大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。**
![img](https://img-blog.csdnimg.cn/img_convert/56c65dc17475a7114e0ce230f578d940.png)
![img](https://img-blog.csdnimg.cn/img_convert/e9745915868295d63013eef972edfdf3.png)
![img](https://img-blog.csdnimg.cn/img_convert/1a3487b598e449953e9e30ab253d927e.png)
![img](https://img-blog.csdnimg.cn/img_convert/f0f8531c8b0aed98c99ca3c93321572d.png)
![img](https://img-blog.csdnimg.cn/img_convert/4ee2f5a33932aec544adf17dc8fb032c.png)

**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上大数据开发知识点，真正体系化！**

**由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新**

**如果你觉得这些内容对你有帮助，可以添加VX：vip204888 （备注大数据获取）**
![img](https://img-blog.csdnimg.cn/img_convert/dd8c582b6cbc78ce79cd8b6af7377370.png)

**一个人可以走的很快，但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎扫码加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**


**由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新**

**如果你觉得这些内容对你有帮助，可以添加VX：vip204888 （备注大数据获取）**
[外链图片转存中...(img-FDezIscE-1712966823759)]

**一个人可以走的很快，但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎扫码加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**