Hadoop系列（八）Hadoop集群

创建三台虚拟机 一台有安装Hadoop 另外两台只安装jdk即可
复制的：
清除之前的Hadoop安装目录
SSH目录
清除/home/hadoop/app/tmp

192.168.0.105主

​ NameNode:奴隶主
​ DataNode:奴隶

192.168.204.132副

​ dataNode:奴隶

192.168.0.101副

​ dataNode:奴隶

所谓集群，就是把Datanode放在其他服务器中

HDFS

NN DN

YARN

RM NM

！！首先配置host文件，方便修改，注意三台服务器都需要修改

操作

一：ip是服务器IP地址

vim /etc/hosts 配置节点 ip地址加上域名 现在需要去连接其他服务器 需要更多的
192.168.0.105 	node1
192.168.204.132	node2
192.168.0.101	node3

二：（每台）安装SSH免密登陆 配置没有配置的免密登陆

ssh-keygen -t rsa 一直回车即可
把主服务器上密钥发送给副服务起，让主节点可以免密登陆到另外节点上
然后把密钥发给各个机器

ssh-copy-id -i ~/.ssh/id_rsa.pub node1（本机，如果之前拷贝过，这个就不需要）
ssh-copy-id -i ~/.ssh/id_rsa.pub node2
ssh-copy-id -i ~/.ssh/id_rsa.pub node3

测试 退出：exit
ssh root@node2 查看是否可以免密登陆

三：发送jdk 注意修改环境变量配置jdk

scp -r jdk1.8.0_231 root@node2:~/app/
scp -r jdk1.8.0_231 root@node3:~/app/

配置JDK环境

配置hadoop bin/hadoop

hadoop-env.sh
设置JAVA_HOME

core-site.xml(重点)
<property>
	<name>fs.default.name</name>
	<value>hdfs://node1:9000</value>
</property>
这里可以把之前的日志删掉

hdfs-site.xml
<property>
  <name>dfs.namenode.name.dir</name>
  <value>/home/hadoop/app/tmp/dfs/name</value>
</property>
<property>
  <name>dfs.datanode.data.dir</name>
  <value>/home/hadoop/app/tmp/dfs/data</value>
</property>
~~~yarn~~~~
yarn-site.xml
<property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
 </property>
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>node1</value>
</property>

mapred-site.xml
<property>
	<name>mapreduce.framework.name</name>
	<value>yarn</value>
</property>
~~~~yarn~~~~~
vim slaves(重点)
node1
node2
node3

hadoop配置好以后分发给其他的机器 注意需要进入对应hadoop目录进行发送

scp -r hadoop-2.6.0-cdh5.15.1 root@node2:~/app/
scp -r hadoop-2.6.0-cdh5.15.1 root@node3:~/Hadoop/

主机格式化，注意只需要在nameNode机器上格式化即可 如果之前已经格式化过了 先删除原本的文件夹

rm -rf /home/hadoop/app/tmp
cd bin ./hadoop namenode -format

nameNode上启动hdfs以及yarn

./hdfs-dfs.sh

子机无需启动hadoop 直接输入jps 报jps和datanode则成功启动

或访问主机ip:50070

文件上传到hdfs

./hadoop fs -copyFromLocal ~/l2.txt /d1

切块页面访问 显示出集群的好处

/home/hadoop/app/tmp/dfs/data/current/BP-798301183-192.168.43.128-1595477548160/current/finalized/subdir0/subdir0

查看http://ip地址:50070

dfs/data/current/BP-798301183-192.168.43.128-1595477548160/current/finalized/subdir0/subdir0

查看http://ip地址:50070