hadoop集群配置过程

Hadoop集群配置

一、拷贝Hadoop和环境变量

1、拷贝Hadoop

2、拷贝环境变量

二、修改配置文件

1、环境变量 （JAVA安装方式相同可忽略）

2、hadoop-env.sh

3、hdfs-site.xml

4、yarn-site.xml

5、slaves

三、免密登录（之前设置过可跳过）

四、格式化HDFS

五、启动

一、拷贝Hadoop和环境变量
【前提：把当前机器中的Hadoop停止，删除logs和tmp文件夹：在hadoop/etc/hadoop文件夹下】

1、拷贝Hadoop

scp -r 要传的文件名 用户名@主机名:$PWD   #当前机器的文件夹拷贝到其他机器的对应的用户的目录下

例如：拷贝到hadoop101和hadoop103机器

scp -r hadoop root@hadoop101:$PWD
scp -r hadoop root@hadoop103:$PWD

2、拷贝环境变量

scp /etc/profile root@hadoop101
scp /etc/profile root@hadoop103

二、修改配置文件
1、环境变量 （JAVA安装方式相同可忽略）
当不同机器中安装的JAVA的方式不同时（有的是tar方式，有的是rpm格式时，请看这里）

vi /etc/profile

如果是rpm格式安装的Java,那么请将红色框中的代码删除掉（其实是因为rpm安装是不需要配置环境变量，而这里设置的话，会出问题）

2、hadoop-env.sh
先进入hadoop/etc/hadoop文件夹下再配置，下面几个都是
这里将JAVA_HOME 设置成 Java实际安装地址

3、hdfs-site.xml
设置备份数量和从元数据节点
在原来的configuation中添加如下代码

<property>
<name>dfs.replication</name>
<value>3</value>							#这里只备份数量
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>hadoop101:50090</value>				#这里设置从元数据节点 ：SecondaryNamenode
</property>

4、yarn-site.xml
设置ResourceManager

<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop100</value>
</property>

5、slaves
添加主从关系

hadoop100
hadoop101
hadoop103

三、免密登录（之前设置过可跳过）
需要多台机器同时操作

会进入如下界面，点击右上角的 Exit multi…可以退出当前模式

1.生成密钥

ssh-keygen -t rsa

2.交换密钥：会输密码

ssh-copy-id hadoop103
ssh-copy-id hadoop101
ssh-copy-id hadoop100

四、格式化HDFS
在master机器上运行如下命令

hdfs namenode -format

五、启动
1.全部启动

start-all.sh

2.分开启动

sbin/start-dfs.sh		#启动HDFS
sbin/start-yarn.sh      #启动YARN

最终看一下进程：完美

————————————————
版权声明：本文为CSDN博主「Shall潇」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/qq_43288259/article/details/114979468