Hadoop学习笔记3、Hadoop环境搭建及测试

一、hadoop运行环境

使用Root用户准备，所有节点（均进行一下操作）

1、给用户hadoop安装目录/opt权限

# chown -R hadoop /opt

2、修改profile文件

# vi /etc/profile
export HADOOP_HOME=/opt/hadoop-2.6.5
export PATH=$PATH:/opt/hadoop-2.6.5/bin
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib:$HADOOP_COMMON_LIB_NATIVE_DIR"

# source /etc/profile

二、安装配置hadoop

使用hadoop用户，在master主机执行。所有配置在master节点完成，后面使用scp 复制到从节点。

1、解压hadoop文件

hadoop@master:/> tar -zxvf /mnt/hgfs/down/hadoop-2.6.5.tar.gz -C /opt

2、配置hadoop

配置1 slaves文件，指定从节点，默认启动hadoop的节点为主节点。
hadoop@master:/opt/hadoop-2.6.5/etc/hadoop>vi slaves
slave1
slave2
slave3

配置2
hadoop@master:/opt/hadoop-2.6.5/etc/hadoop>vi  core-site.xml
<configuration>
  <property>
      <name>fs.defaultFS</name>  
      <value>hdfs://master:9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/hdfs/tmp</value>
  </property>
</configuration>


配置3 hdfs-site.xml ，文件副本数等
hadoop@master:/opt/hadoop-2.6.5/etc/hadoop>vi  hdfs-site.xml
<configuration>
  <property>
    <name>dfs.replication</name>
    <value>2</value>
  </property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:///opt/hdfs/name</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>file:///opt/hdfs/data</value>
  </property>
</configuration>


配置4  mapred-site.xml，调小占用的内存。
hadoop@master:/opt/hadoop-2.6.5/etc/hadoop>vi mapred-site.xml
<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
<property>
 <name>mapreduce.map.memory.mb</name>
 <value>512</value>
</property>
<property>
 <name>mapreduce.reduce.memory.mb</name>
 <value>512</value>
</property>
</configuration>


配置5
hadoop@master:/opt/hadoop-2.6.5/etc/hadoop> vi yarn-site.xml 
<configuration>
  <property>
  <name>yarn.resourcemanager.hostname</name>
  <value>master</value>
  </property>

  <property>
    <name>yarn.scheduler.minimum-allocation-mb</name>
    <value>512</value>
</property>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
</configuration>

三、hadoop安装文件等复制到其他节点

使用hadoop用户在主节点master执行。

scp -r /opt/hadoop-2.6.5 hadoop@slave1:/opt

scp -r /opt/hadoop-2.6.5 hadoop@slave2:/opt

scp -r /opt/hadoop-2.6.5 hadoop@slave3:/opt

四、初次安装需要格式化hdfs

使用hadoop用户在节点master执行

hadoop namenode -format

四、启动验证

1、启动hadoop，使用hadoop用户在master节点
hadoop@master:/opt/hadoop-2.6.5/sbin> ./start-all.sh

2、通过WebUI查看Hadoop状态
HDFS(NameNode) ，配置文件conf/hdfs-site.xml中，dfs.namenode.http-address参数配置
http://Master:50070
HDFS(SecondaryNameNode),配置文件conf/hdfs-site.xml中，dfs.namenode.secondary.http-address参数配置
http://master:50090/
Yarn(ResourceManager)，配置文件conf/yarn-site.xml中，yarn.resourcemanager.webapp.address参数配制
http://master:8088
MapReduce JobHistory Server:
http://host:19888