（六）分布式搭建——安装hadoop

（六）分布式搭建——安装hadoop

在master上操作

上传hadoop-2.6.0.tar.gz 到/usr/local/modules

进入/usr/local/modules 查看是否上传成功

执行 tar -zxvf hadoop-2.6.0.tar.gz -C /usr/local/soft/ 进行解压
解压到/usr/local/soft/目录下

查看是否解压成功

执行cd /usr/local/soft/hadoop-2.6.0/etc/hadoop/ ll查看
需要修改slaves hadoop-env.sh core-site.xml hdfs-site.xml yarn-site.xml
mapred-site.xml（将mapred-site.xml.template 复制一份为 mapred-site.xml
命令：cp mapred-site.xml.template mapred-site.xml

删除原来的所有内容，添加其他虚拟机的名称

找到export JAVA_HOME 修改

将下面的配置参数加入进去修改成对应自己的

<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://master:9000</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/usr/local/soft/hadoop-2.6.0/tmp</value>
        </property>
	    <property>
                 <name>fs.trash.interval</name>
                 <value>1440</value>
        </property>
</configuration>

将下面的配置参数加入进去 dfs.replication设置为1

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.permissions</name>
        <value>false</value>
    </property>
</configuration>

将下面的配置参数加入进去不用修改

<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>
</configuration>

将mapred-site.xml.template 复制一份为 mapred-site.xml
命令：cp mapred-site.xml.template mapred-site.xml
然后在修改
将下面的配置参数加入进去不用修改

<configuration>
   <property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
	<property>  
		<name>mapreduce.jobhistory.address</name>  
		<value>master:10020</value>  
	</property>  
	<property>  
		<name>mapreduce.jobhistory.webapp.address</name>  
		<value>master:19888</value>  
	</property> 
</configuration>

将hadoop的安装目录分别拷贝到其他子节点
scp -r /usr/local/soft/hadoop-2.6.0 node1:/usr/local/soft/
scp -r /usr/local/soft/hadoop-2.6.0 node2:/usr/local/soft/

配置Hadoop环境变量
vim /etc/profile
进行如下修改

将环境变量文件拷贝到其他子节点
scp -r /etc/profile node1:/etc/profile
scp -r /etc/profile node2:/etc/profile

刷新环境变量
启动hadoop

第一次启动会出现提示 输入yes然后回车
查看主节点master进程 通过jps命令查看

3查看子节点node1 node2进程 通过jps命令查看

主节点进程：namenode/ secondarnamenode/resourcemanager
子节点进程 datanode /nodemanager
然后验证hdfs
可以登录浏览器地址：192.168.149.110:50070 （ip地址是master的地址）
看到下面页面证明 hdfs装好了