时间:2019年11月24日 16:32:46
完全分布式hadoop的搭建至少需要3台机器,可在VMware下新建三台虚拟机备用
1 环境准备
1.1 修改本机host
参考地址:修改host
修改3台虚拟机的host如下
hadoop1
hadoop2
hadoop3
1.2 java配置
参考地址:java配置
1.3 免密登陆
参考地址Ubuntu下免密登陆
$ vim /etc/hosts
<ip addresss 1> hadoop1
<ip addresss 2> hadoop2
<ip addresss 3> hadoop3
1.4 下载hadoop包
地址链接
博主下载版本为2.7.7
2 集群搭建
2.1 hadoop主要文件配置
切换到 etc/hadoop
目录下
2.1.1 slaves文件
增加地址
hadoop2
hadoop3
2.1.2 配置 core-site.xml
<configuration>
<!-- 指定hdfs的nameservice为ns1 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop1:9000</value>
</property>
<!-- Size of read/write buffer used in SequenceFiles. -->
<property>
<name>io.file.buffer.size</name>
<value>131072</value>
</property>
<!-- 指定hadoop临时目录,自行创建 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/home/lqs/hadoop/tmp</value>
</property>
</configuration>
2.1.3 配置 hdfs-site.xml
<configuration>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>hadoop1:50090</value>
</property>
<!-- 代表几个DataNode节点--!>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/home/lqs/hadoop/hdfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/home/lqs/hadoop/hdfs/data</value>
</property>
</configuration>
2.1.4 配置yarn-site.xml
<configuration>
<!-- Site specific YARN configuration properties -->
<!-- Configurations for ResourceManager -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>hadoop1:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>hadoop1:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>hadoop1:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>hadoop1:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>hadoop1:8088</value>
</property>
</configuration>
2.1.5 配置mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>hadoop1:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>hadoop1:19888</value>
</property>
</configuration>
2.1.6 将配置好的Hadoop发送到其他节点
$ scp -r hadoop-2.7.7 hadoop2:/home/lqs/hadoop
$ scp -r hadoop-2.7.7 hadoop3:/home/lqs/hadoop
2.1.7 格式化节点
切换到 bin
目录下
$ hdfs namenode -format
2.2 启动集群
切换到 sbin
目录下启动集群
$ ./start-all.sh
查看主节点进程
$ jps
SecondaryNameNode #重要
NameNode #重要
NodeManager #可有可无
ResourceManager #非常重要
查看副节点进程
$ jps
DataNode #重要
NodeManager #可有可无
2.3 网页端查看
浏览器输入地址: http://< ip address >:50070/ 和 http://< ip address >:8088/
本文参考博客:链接地址