hadoop-2.6.5-centos-6.7集群的安装

一下都是在hadoop用户下操作的

1.下载hadoop-2.6.5-centos-6.7.tar

上传到Hadoop01

软件安装包放在soft下  安装在Apps下

2.修改Hadoop的配置文件

2.1修改vi hadoop-env.sh 

把他改为：export JAVA_HOME=/usr/local/jdk1.8.0_73

2.2修改vi core-site.xml 

<configuration>
        
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://hadoop01:9000</value>
        </property>



        <!-- 指定hadoop运行时产生文件的存储目录 -->
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/home/hadoop/hadoop-2.6.5/tmp</value>
        </property>
<configuration>

2.3修改vi hdfs-site.xml  

<configuration>

        <!-- 指定HDFS副本的数量 -->
        <property>
                <name>dfs.replication</name>
                <value>2</value>
        </property>

        <property>
                <name>dfs.secondary.http.address</name>
                <value>hadoop02:50090</value>
        </property>




</configuration>

2.4修改 mapred-site.xml

mv mapred-site.xml.template mapred-site.xml

<configuration>
        <!-- 指定mr运行在yarn上 -->
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
</configuration>

2.5修改vi yarn-site.xml 

<configuration>

        <!-- Site specific YARN configuration properties -->
        <!-- 指定YARN的老大（ResourceManager）的地址 -->
        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>hadoop01</value>
        </property>

        <!-- reducer获取数据的方式 -->
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
</configuration>

2.6修改vi slaves 

hadoop02
hadoop03
hadoop04

3修改Hadoop环境变量

sudo vi /etc/profile

export JAVA_HOME=/usr/local/jdk1.8.0_73
export HADOOP_HOME=/home/hadoop/apps/hadoop-2.6.5
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etc/profile

4.分发安装包到各个节点

scp -r hadoop-2.6.5/ hadoop02:$pwd

scp -r hadoop-2.6.5/ hadoop03:$pwd

scp -r hadoop-2.6.5/ hadoop04:$pwd

5.在主节点上初始化namenode
hadoop namenode -format

6 启动hdfs 

sbin/start-dfs.sh 
结果在主节点上启动了一个 namenode守护进程
结果在每个从节点上都启动了一个datanode守护进程
在特定的节点上启动了一个secondnamenode守护进程

7 启动yarn
sbin/start-yarn.sh 
结果在yarn的主节点上启动了一个resourcemanager守护进程
在yarn的从节点上都启动了一个nodemanager守护进程

8 测试集群是否安装成功
1 测试hdfs是否安装成功
hadoop fs -ls /

2.测试yarn是否安装成功
  
cd  /home/hadoop/apps/hadoop-2.6.5/share/hadoop/mapreduce
hadoop jar hadoop-mapreduce-examples-2.6.5.jar pi 10 10
















9.测试web界面的访问

1 第一种方式http://192.168.197.201:50070

2 第二种http://hadoop01:50070
修改
Windows下主机名和IP映射设置
 打开系统目录：c:/windows/system32/drivers/etc找到hosts文件，打开hosts文件并在最后面添加一条记录

       
       

        
        192.168.197.201  hadoop01
192.168.197.202  hadoop02
192.168.197.203  hadoop03
192.168.197.204  hadoop04