创建三台虚拟机 一台有安装Hadoop 另外两台只安装jdk即可
复制的:
清除之前的Hadoop安装目录
SSH目录
清除/home/hadoop/app/tmp
192.168.0.105主
NameNode:奴隶主
DataNode:奴隶
192.168.204.132副
dataNode:奴隶
192.168.0.101副
dataNode:奴隶
所谓集群,就是把Datanode放在其他服务器中
HDFS
NN DN
YARN
RM NM
!!首先配置host文件,方便修改,注意三台服务器都需要修改
操作
一:ip是服务器IP地址
vim /etc/hosts 配置节点 ip地址加上域名 现在需要去连接其他服务器 需要更多的
192.168.0.105 node1
192.168.204.132 node2
192.168.0.101 node3
二:(每台)安装SSH免密登陆 配置没有配置的免密登陆
ssh-keygen -t rsa 一直回车即可
把主服务器上密钥发送给副服务起,让主节点可以免密登陆到另外节点上
然后把密钥发给各个机器
ssh-copy-id -i ~/.ssh/id_rsa.pub node1(本机,如果之前拷贝过,这个就不需要)
ssh-copy-id -i ~/.ssh/id_rsa.pub node2
ssh-copy-id -i ~/.ssh/id_rsa.pub node3
测试 退出:exit
ssh root@node2 查看是否可以免密登陆
三:发送jdk 注意修改环境变量配置jdk
scp -r jdk1.8.0_231 root@node2:~/app/
scp -r jdk1.8.0_231 root@node3:~/app/
配置JDK环境
配置hadoop bin/hadoop
hadoop-env.sh
设置JAVA_HOME
core-site.xml(重点)
<property>
<name>fs.default.name</name>
<value>hdfs://node1:9000</value>
</property>
这里可以把之前的日志删掉
hdfs-site.xml
<property>
<name>dfs.namenode.name.dir</name>
<value>/home/hadoop/app/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/home/hadoop/app/tmp/dfs/data</value>
</property>
~~~yarn~~~~
yarn-site.xml
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>node1</value>
</property>
mapred-site.xml
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
~~~~yarn~~~~~
vim slaves(重点)
node1
node2
node3
hadoop配置好以后分发给其他的机器 注意需要进入对应hadoop目录进行发送
scp -r hadoop-2.6.0-cdh5.15.1 root@node2:~/app/
scp -r hadoop-2.6.0-cdh5.15.1 root@node3:~/Hadoop/
主机格式化,注意只需要在nameNode机器上格式化即可 如果之前已经格式化过了 先删除原本的文件夹
rm -rf /home/hadoop/app/tmp
cd bin ./hadoop namenode -format
nameNode上启动hdfs以及yarn
./hdfs-dfs.sh
子机无需启动hadoop 直接输入jps 报jps和datanode则成功启动
或访问主机ip:50070
文件上传到hdfs
./hadoop fs -copyFromLocal ~/l2.txt /d1
切块页面访问 显示出集群的好处
/home/hadoop/app/tmp/dfs/data/current/BP-798301183-192.168.43.128-1595477548160/current/finalized/subdir0/subdir0
查看http://ip地址:50070
dfs/data/current/BP-798301183-192.168.43.128-1595477548160/current/finalized/subdir0/subdir0
查看http://ip地址:50070