搭建Hadoop集群（适用于小型的测试集群）

搭建Hadoop集群（适用于小型的测试集群）

---

前言

1 对于虚拟机搭建的完全分布式集群，需要先修改mac地址和ip地址，并把ip设置为静态的，保证每次开机ip都是固定的，并修改主机名。
2 本文使用了自定义的shell脚本来使部署自动化，简单易懂。

一、先在一台主机上安装jdk,hadoop

1.安装jdk

把压缩包放在 /opt/software 并解压到 /opt/module
2 配置/etc/profile 把下面两句话加在最后面

3 source /etc/profile 使配置文件生效
4 检查

2.安装并配置hadoop

1 把安装包放在 /opt/software 并解压到 /opt/module
2 配置环境变量：/etc/prifile

配置完记得要 source 一下
3 配置hadooop的配置文件
整体架构：

|node101    |node102        |node103
|namenode   |ResourceManager|Secondary NameNode
|datanode   |datanode       |datanode
|nodemanager|nodemanager    |nodemanager

① hadoop-env.sh:配置jdk路径

② core-site.xml

<configuration>
	 <!-- 指定HDFS中NameNode的地址 -->
	 <property>
	      <name>fs.defaultFS</name>
	      <value>hdfs://node101:9000</value>
	 </property>

	 <!-- 指定Hadoop运行时产生文件的存储目录 -->
	 <property>
	        <name>hadoop.tmp.dir</name>
	        <value>/opt/module/hadoop-2.7.6/data/tmp</value>
	 </property>
</configuration>

③ hdfs-site.xml

<configuration>
	<!--设置副本数为3-->
	 <property>
	   <name>dfs.replication</name>
	   <value>3&l