搭建hadoop集群

一、搭建过程
1、连网测试
Master ping通外网
Slave01 ping 通外网
2、编辑主机名文件
将主机名改为master hostname master
检查主机名是否修改成功 bash
3、分别在三台主机上配置时钟同步
4、分别在三台主机上关闭防火墙
5、分别在三台主机配置hosts列表
Vi /etc/hosts
6、ping相应主机名检查
7、解压安装包
8、配置环境变量
9、使环境变量生效
10、免密钥登陆配置
11、验证免密登陆
11、安装hadoop集群
解压安装包
使用gedit命令修改hadoop-env.sh文件
[zkpk@master ~]$ gedit /home/zkpk/hadoop-2.7.3/etc/hadoop/hadoop-env.sh
2） 修改JAVA_HOME环境变量
export JAVA_HOME=/usr/java/jdk1.8.0_131/
配置yarn-env.sh文件
1） 使用gedit命令修改yarn-env.sh文件
[zkpk@master ~]$ gedit ~/hadoop-2.7.3/etc/hadoop/yarn-env.sh
2） 修改JAVA_HOME环境变量
export JAVA_HOME=/usr/java/jdk1.8.0_131/
12、配置core-site.xml文件
Vi~/hadoop-2.7.3/etc/hadoop/core-site.xml
配置hdfs-site.xml文件
配置yarn-site.xml文件
配置mapred-site.xml文件
13、配置slave文件
14、配置好的hadoop文件复制到从节点
Scp -r hadoop-2.7.3 zkpk@slave01:~/
Scp -r hadoop-2.7.3 zkpk@slave02:~/
15、配置hadoop环境变量(分别在三个节点上配置)
Vi ~/.bash_profile
16、使变量生效 source ~/.bash_profile
17、分别在三节点上创建数据目录
mkdir /home/zkpk/hadoopdata
18、在master格式化文件目录
Hdfs namenode -format
19、在master上启动hadoop集群
20、检查进程是否启动
21、运行PI实例检查集群是否成功

二、xml文件内容（备拷贝）

core-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/zkpk/hadoopdata</value>
</property>
</configuration>


 hdfs 
 <?xml version="1.0" encoding="UTF-8"?>
 <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
 <!-- Put site-specific property overrides in this file. -->
 <configuration>
 <property>
 <name>dfs.replication</name>
 <value>2</value>
 </property>
 </configuration>


yarn-site
<?xml version="1.0"?>
<configuration>
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>master:18040</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:18030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:18025</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>master:18141</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master:18088</value>
</property>
</configuration>


mappred
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>
</configuration>