Linux修改hadoop配置文件及启动hadoop集群详细步骤_在linux如何进入hadoop

Java老杨

于 2024-05-10 11:43:08 发布

阅读量999

点赞数 10

分类专栏：程序员文章标签： linux hadoop 运维

本文链接：https://blog.csdn.net/m0_60721823/article/details/138659009

版权

程序员专栏收录该内容

191 篇文章 0 订阅

订阅专栏

为了做好运维面试路上的助攻手，特整理了上百道 【运维技术栈面试题集锦】 ，让你面试不慌心不跳，高薪offer怀里抱！

这次整理的面试题，小到shell、MySQL，大到K8s等云原生技术栈，不仅适合运维新人入行面试需要，还适用于想提升进阶跳槽加薪的运维朋友。

本份面试集锦涵盖了

174 道运维工程师面试题
128道k8s面试题
108道shell脚本面试题
200道Linux面试题
51道docker面试题
35道Jenkis面试题
78道MongoDB面试题
17道ansible面试题
60道dubbo面试题
53道kafka面试
18道mysql面试题
40道nginx面试题
77道redis面试题
28道zookeeper

总计 1000+ 道面试题，内容又全含金量又高

174道运维工程师面试题

1、什么是运维?

2、在工作中，运维人员经常需要跟运营人员打交道，请问运营人员是做什么工作的?

3、现在给你三百台服务器，你怎么对他们进行管理?

4、简述raid0 raid1raid5二种工作模式的工作原理及特点

5、LVS、Nginx、HAproxy有什么区别?工作中你怎么选择?

6、Squid、Varinsh和Nginx有什么区别，工作中你怎么选择?

7、Tomcat和Resin有什么区别，工作中你怎么选择?

8、什么是中间件?什么是jdk?

9、讲述一下Tomcat8005、8009、8080三个端口的含义？

10、什么叫CDN?

11、什么叫网站灰度发布?

12、简述DNS进行域名解析的过程?

13、RabbitMQ是什么东西?

14、讲一下Keepalived的工作原理?

15、讲述一下LVS三种模式的工作过程?

16、mysql的innodb如何定位锁问题，mysql如何减少主从复制延迟?

17、如何重置mysql root密码?

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以点击这里获取！

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

5.修改 mapred-site.xml 文件

vim mapred-site.xml

<configuration>
<!-- 指定MapReduce运行时框架，这里指定在yarn上-->
       <property>
              <name>mapreduce.framework.name</name>
              <value>yarn</value>
       </property>
</configuration>

6.修改 hdfs-site.xml 文件

vim hdfs-site.xml

<configuration>
<!--指定HDFS副本的数量，不能超过机器节点数-->
              <property>
                            <name>dfs.replication</name>
                            <value>3</value>
              </property>
              <!-- 为secondary namenode配置所在的IP和端口-->
              <property>
                            <name>dfs.namenode.secondary.http-address</name>
                            <value>hadoop2:50090</value>
              </property>
</configuration>

7.修改 yarn-site.xml 文件

vim yarn-site.xml

<configuration>

           <!-- 指定yarn集群的管理者(resourcemanger)的地址-->
           <property>
                      <name>yarn.resourcemanager.hostname</name>
                      <value>hadoop</value>
           </property>
           <property>
                      <name>yarn.nodemanager.aux-services</name>
                      <value>mapreduce_shuffle</value>
           </property>

</configuration>

8.修改 workers 文件

vim workers

hadoop
hadoop2
hadoop3

三、给hadoop2、hadoop3分发文件

1.到存放hadoop的文件夹下

cd /opt/server/

2.1.给hadoop2和hadoop3拷贝文件和环境变量

scp -r hadoop-3.2.4/ root@hadoop2:/opt/server/hadoop-3.2.4/
scp /etc/profile root@hadoop2:/etc/profile

2.2.给hadoop2和hadoop3创建软连接

ln -s hadoop-3.2.4/ hadoop

2.3.检查hadoop2和hadoop3是否拷贝成功

hadoop的配置文件拷贝给了hadoop2和hadoop3，在hadoop2打开workers。

vim workers

hadoop2的workers没被修改，说明没拷贝成功。

2.4.如果没有拷贝成功就将hadoop2和hadoop3的hadoop文件夹删除，然后在拷贝一次

rm -rf hadoop-3.2.4

重复2.1的操作

四、修改脚本文件

1.切换到hadoop的sbin目录下

脚本文件都在sbin文件下。

cd /opt/server/hadoop/sbin

2.修改 start-dfs.sh 脚本文件

vim start-dfs.sh

HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

3.修改 stop-dfs.sh 脚本文件

vim stop-dfs.sh

HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

4.修改start-yarn.sh 脚本文件

vim start-yarn.sh

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

4.修改 start-yarn.sh 脚本文件

vim start-yarn.sh

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

5.修改 stop-yarn.sh 脚本文件

vim stop-yarn.sh

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

五、启动hadoop集群

1.格式化HDFS

hadoop namenode -format

2.启动hadoop

启动hadoop和yarn一定要在sbin目录下。

./start-dfs.sh

3.启动yarn

./start-yarn.sh

4.查看进程

jps

5.关闭防火墙

#关闭
systemctl stop firewalld.service
#查看
systemctl status firewalld.service
#防火墙失效设置
systemctl disable firewalld.service

6.访问Hadoop的web网站

ip+端口

7.停止hadoop

./stop-dfs.sh

8.停止yarn

./stop-yarn.sh

第一次停止yarn可能会出现以下情况：

再输入一次命令就好了

9.启动hadoop和yarn遇到的问题

ERROR: JAVA_HOME is not set and could not be found.

出错的原因是2.3的hadoop配置文件没有成功拷贝给hadoop2和hadoop3，解决办法在2.4。

六、编辑启动和停止脚本文件

1.进入脚本文件目录

cd /opt/script/

如果没有script目录就新建一个。

mkdir script

2.编写集群控制文件

vim hadoop.sh

#! /bin/bash
case $1 in
"start" ) {
/opt/server/hadoop/sbin/start-dfs.sh
/opt/server/hadoop/sbin/start-yarn.sh
};;
"stop") {
/opt/server/hadoop/sbin/stop-dfs.sh
/opt/server/hadoop/sbin/stop-yarn.sh
};;
esac

3.给 hadoop.sh 授权

chmod 777 hadoop.sh

4.启动集群，查看进程

./hadoop.sh start

jps

查看hadoop进程

查看hadoop2进程

5.停止集群，查看进程

./hadoop.sh stop

jps

查看hadoop进程

查看hadoop2进程

七、编辑同步执行命令脚本

1.编辑

vim xcall.sh




### 最后的话

最近很多小伙伴找我要Linux学习资料，于是我翻箱倒柜，整理了一些优质资源，涵盖视频、电子书、PPT等共享给大家！

### 资料预览

给大家整理的视频资料：

![](https://img-blog.csdnimg.cn/img_convert/d15a46fe8a0bd8b5edf3756a89d1d013.png)

给大家整理的电子书资料：

  

![](https://img-blog.csdnimg.cn/img_convert/cc5381e9159c35712b715a81a7daf7cc.png)



**如果本文对你有帮助，欢迎点赞、收藏、转发给朋友，让我有持续创作的动力！**

**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化的资料的朋友，可以点击这里获取！](https://bbs.csdn.net/forums/4f45ff00ff254613a03fab5e56a57acb)**


**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**

程 
 

![](https://img-blog.csdnimg.cn/ea578b3e0b4945e18eaf5325bf4a5100.png)



## 七、编辑同步执行命令脚本


### 1.编辑

vim xcall.sh