hadoop 安装

1.准备

1.jdk安装

2.创建hadoop运行用户

3.用该用户实现ssh无密码验证

2.安装

下载，解压缩： tar -zxvf 安装包名

7个关键配置文件：

/hadoop/etc/hadoop/hadoop-env.sh
/hadoop/etc/hadoop/yarn-env.sh
/hadoop/etc/hadoop/slaves
/hadoop/etc/hadoop/core-site.xml
/hadoop/etc/hadoop/hdfs-site.xml
/hadoop/etc/hadoop/mapred-site.xml
/hadoop/etc/hadoop/yarn-site.xml

配置文件1：hadoop-env.sh

该文件是hadoop运行基本环境的配置，需要修改的为java虚拟机的位置。
故在该文件中修改JAVA_HOME值为本机安装位置（如，export JAVA_HOME=/usr/lib/jvm/java-1.7.0）

配置文件2：yarn-env.sh

该文件是yarn框架运行环境的配置，同样需要修改java虚拟机的位置。
在该文件中修改JAVA_HOME值为本机安装位置（如，export JAVA_HOME=/usr/lib/jvm/java-1.7.0）

配置文件3：slaves

该文件里面保存所有slave节点的信息，以本篇为例
写入以下内容（hosts里从机的主机名）：
node2
node3

配置文件4：core-site.xml

这个是hadoop的核心配置文件，这里需要配置的就这两个属性，fs.default.name配置了hadoop的HDFS系统的

命名，位置为主机的9000端口；hadoop.tmp.dir配置了hadoop的tmp目录的根位置。这里使用了一个文件系统

中没有的位置，所以要先用mkdir命令新建一下。

参考：

<pre name="code" class="html"><?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <property>  
        <name>fs.trash.interval</name>  
        <value>1440</value>  
    </property> 
    <property>  
        <name>fs.default.name</name>  
        <value>hdfs://node1:9000</value>  
    </property>  
    <property>  
        <name>hadoop.tmp.dir</name>  
        <value>file:/home/djl/soft/hadoop/tmp</value>  
        <value>131072</value>  
    </property>  
    <property>  
        <name>io.file.buffer.size</name>  
        <value>131072</value>  
    </property>  
    <property>  
        <name>dfs.namenode.handler.count</name>  
        <value>200</value>  
        <description>The number of server threads for the namenode.</description>  
    </property>  
    <property>  
        <name>dfs.datanode.handler.count</name>  
        <value>100</value>  
    </property>  
</configuration>

配置文件5：hdfs-site.xml

这个是hdfs的配置文件，dfs.http.address配置了hdfs的http的访问位置；dfs.replication配置了文件块的副本数，

一般不大于从机的个数。

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <property>  
       <name>dfs.namenode.name.dir</name>  
        <value>file:/home/djl/soft/hadoop/hdfs/name</value>  
    </property>  
    <property>  
       <name>dfs.datanode.data.dir</name>  
        <value>file:/home/djl/soft/hadoop/hdfs/data</value>  
    </property>  
    <property>  
       <name>dfs.replication</name>  
        <value>3</value>  
    </property>  
    <property>  
       <name>dfs.namenode.secondary.http-address</name>
	   <value>node1:50070</value>
    </property>  
    <property>  
		<name>dfs.webhdfs.enabled</name>  
		<value>true</value>  
		</property>  
	<property>  
		<name>dfs.datanode.du.reserved</name>  
		<value>107374182400</value>  
		<description>Reserved space in bytes per volume. Always leave this much space free for non dfs use.  
		</description>  
	</property>  
	<property>
	  <name>dfs.client.socket-timeout</name>  
	  <value>600000</value>  
	</property>  
	<property>  
	  <name>dfs.datanode.max.transfer.threads</name>  
	  <value>409600</value>  
	</property>    

配置文件6：mapred-site.xml

这个是mapreduce任务的配置，由于hadoop2.x使用了yarn框架，所以要实现分布式部署，必须

在mapreduce.framework.name属性下配置为yarn。mapred.map.tasks和mapred.reduce.tasks分别

为map和reduce的任务数，至于什么是map和reduce，可参考其它资料进行了解。

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<span style="white-space:pre">	</span><property>
<span style="white-space:pre">		</span><name>mapred.job.tracker</name>
<span style="white-space:pre">		</span><value>node1:9001</value>
<span style="white-space:pre">	</span></property>
<span style="white-space:pre">	</span><property>
<span style="white-space:pre">		</span><name>mapred.map.tasks</name>
<span style="white-space:pre">		</span><value>20</value>
<span style="white-space:pre">	</span></property>
<span style="white-space:pre">	</span><property>
<span style="white-space:pre">		</span><name>mapred.reduce.tasks</name>
<span style="white-space:pre">		</span><value>4</value>
<span style="white-space:pre">	</span></property>
<span style="white-space:pre">	</span><property>
<span style="white-space:pre">		</span><name>mapreduce.framework.name</name>
<span style="white-space:pre">		</span><value>yarn</value>
<span style="white-space:pre">	</span></property>
<span style="white-space:pre">	</span><property>
<span style="white-space:pre">		</span><name>mapreduce.jobhistory.address</name>
<span style="white-space:pre">		</span><value>node1:10020</value>
<span style="white-space:pre">	</span></property>
<span style="white-space:pre">	</span><property>
<span style="white-space:pre">		</span><name>mapreduce.jobhistory.webapp.address</name>
<span style="white-space:pre">		</span><value>node1:19888</value>
<span style="white-space:pre">	</span></property>
</configuration>

配置文件7：yarn-site.xml

该文件为yarn框架的配置,主要是一些任务的启动位置

<?xml version="1.0"?>

<configuration>
      <property>  
        <name>yarn.nodemanager.aux-services</name>  
        <value>mapreduce_shuffle</value>  
    </property>  
    <property>  
        <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>  
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>  
    </property>  
    <property>  
       <name>yarn.resourcemanager.address</name>  
        <value>node1:8032</value>
    </property>  
    <property>  
        <name>yarn.resourcemanager.scheduler.address</name>  
        <value>node1:8030</value>
    </property>  
    <property>  
        <name>yarn.resourcemanager.resource-tracker.address</name>  
        <value>node1:8031</value>
    </property>  
    <property>  
        <name>yarn.resourcemanager.admin.address</name>  
        <value>node1:8033</value>
    </property>  
    <property>  
        <name>yarn.resourcemanager.webapp.address</name>  
        <value>node1:8088</value>
    </property>  
    <property>  
        <name>yarn.nodemanager.resource.memory-mb</name>  
        <value>2048</value>  
    </property>  
</configuration>

将配置好的hadoop复制到其他节点

scp –r ~/hadoop hadoop@node2:~/
scp –r ~/hadoop hadoop@node3:~/

3.启动

1.格式化namenode：

./bin/hdfs namenode -format

成功标志：

2.启动服务：

./hadoop-2.7.1/sbin/start-all.sh

node1：主服务器

node2：从服务器2

node3：从服务器3

3.验证

检查启动结果
查看集群状态：./bin/hdfs dfsadmin -report

查看HDFS: http://192.168.1.198 :50070（主机IP）

查看RM: http:// 192.168.1.198:8088（主机IP）