Hadoop 环境搭建

一、安装钱准备
a、关闭防火墙和SELinux

service iptables status
service iptables stop
chkconfig iptables off

b、设置静态IP地址

vi /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE=eth0
TYPE=Ethernet
ONBOOT=yes # 默认为no，改为yes
NM_CONTROLLED=yes
BOOTPROTO=none # 默认为dhcp，改为none
IPADDR=192.168.247.12 #配置自己的ip地址
NETMASK=255.255.255.0 # 配置自己的子网掩码
GATEWAY=192.168.247.2 # 配置自己的关
DNS1=192.168.1.1 # 配置自己的dns
IPV6INIT=no
USERCTL=no

c、修改HostName

vi /etc/sysconfig/network    
NETWORKING=yes
HOSTNAME=hadoop1

d、IP与HostName绑定

vi /etc/hosts
192.168.247.12 hadoop1

二、安装步骤
1、安装jdk7

#首先检查系统是否安装jdk
rpm -qa|grep jdk

#删除命令
yum remove jdkxxx

#解压jdk到指定目录
tar -zxvf jdk-7u72-linux-x64.tar.gz -C /usr/local/

#切换到/usr/local目录下，并对jdk目录重名（主要是为了方便）
cd /usr/local/
mv jdk1.7.0_72/ jdk

#修改环境变量/etc/profile，添加JAVA_HOME
export JAVA_HOME=/usr/local/jdk
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin

使修改生效

source /etc/profile

注：只要涉及修改环境变量，都需要使用soruce命令，使修改立即生效

检查java环境是否配置正确

java -version

2、安装hadoop

#解压安装包到指定目录，这里解压到/usr/local/目录下
tar -zxvf hadoop-2.7.0.tar.gz -C /usr/local/
#重命名解压后的文件夹（仅仅为了方便）
mv hadoop-2.7.0/ hadoop

配置hadoop环境变量

vim /etc/prifile
#添加如下几行
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin

修改env配置文件

#涉及到的文件路径：/usr/local/hadoop/etc/hadoop
#涉及的文件包括：hadoop-env.sh,yarn-env.sh,mapred-env.sh;这三个文件需要添加jdk路径
export JAVA_HOME=/usr/local/jdk

修改xml配置文件

#涉及到文件路径：/usr/local/hadoop/etc/hadoop
#涉及的文件包括：core-site.xml,hdfs-site.xml,yarn-site.xml,mapred-site.xml

#core-site.xml
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://hadoop1:9000</value>
</property>
<property>
    <name>hadoop.tmp.dir</name>
    <value>/usr/local/hadoop/dfs/tmp</value>
</property>

#hdfs-site.xml
<property>
    <name>dfs.replication</name>
    <value>1</value>
</property>
<!-- 作为NameNode使用 -->
<property>
    <name>dfs.namenode.name.dir</name>
    <value>/usr/local/hadoop/dfs/name</value>
</property>
<!-- 作为DataNode 使用-->
<property>
    <name>dfs.datanode.data.dir</name>
    <value>/usr/local/hadoop/dfs/data</value>
</property>

#yarn-site.xml
<property>
    <!-- 作为资源管理节点使用 -->
    <name>yarn.resourcemanager.hostname</name>
     <value>hadoop1</value>
</property>
<property>
    <!-- 作为节点内部管理节点使用-->
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>

#mapred-site.xml
<property>                             
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

3、启动hadoop

#启动顺序，NameNode,DataNode,SecondaryNameNode
#格式化NameNode
./bin/hdfs namenode -foramt

#启动NameNode
./sbin/hadoop-daemon.sh start namenode

#启动DataNode
./sbin/hdoop-daemon.sh start datanode

#启动SecondaryNameNode
./sbin/hadoop-daemon.sh start secondaryname

#启动yarn
./sbin/yarn-daemon.sh start resourcemanager

4、测试伪分布式是否安装成功

#可以用hadoop自带的程序测试
./bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar pi 20 20
#该作业是计算pi值的，若成功，会输出如下内容：
Job Finished in 409.583 seconds
Estimated value of Pi is 3.17000000000000000000
#当然，如果取值不是 20 20 计算结果肯定也不一样，取样越大，计算结果越接近3.141592657589.......

5、常用端口

名称	地址	默认端口
NameNode	http://nn_host:port/	Default HTTP port is 50070
ResourceManager	http://rm_host:port/	Default HTTP port is 8088
MapReduce JobHistory Server	http://jhs_host:port/	Default HTTP port is 1988