企业级Hadoop 2.x入门系列之五Hadoop2.2 伪分布式安装

Step01：设置hadoop用户无密码sudo权限

root用户登录：

[root@localhost/]# cd /etc

[root@localhostetc]# chmod u+w /etc/sudoers

[root@localhostetc]# vim /etc/sudoers

在首行添加内容如下：

hadoopALL=(root)NOPASSWD:ALL

保存退出

[root@localhostetc]# chmod u-w /etc/sudoers

切换到hadoop用户：

[root@localhostetc]# su Hadoop

[hadoop@localhostetc]$ service iptables status

[hadoop@localhost etc]$ sudo service iptables status

Step02：关闭防火墙和禁用SELinux

(1)关闭防火墙

[hadoop@localhostetc]$ service iptables stop

(2)禁止防火墙服务开启启动

[hadoop@localhostetc]$ su  --切换到root用户

[root@localhostetc]# chkconfig iptables off   --关闭防火墙服务开启启动

[root@localhostetc]# chkconfig --list | grep iptables  --查看防火墙服务状态

iptables        0:off  1:off   2:off   3:off  4:off   5:off   6:off

(3)禁用SELinux

[root@localhostetc]# vi /etc/sysconfig/selinux         --设置 SELINUX=disabled

说明：以上设置需要root用户权限

Step03：设置静态IP

(1) 设置虚拟机(Linxu)网络

VMware虚拟机网络设置为：仅主机模式; Linux静态IP为：192.168.100.5（这个IP可以任意指定）

(1) 设置宿主机(Windows)虚拟网卡

说明：仅主机模式使用虚拟网卡VMnet1；NAT模式使用虚拟网卡VMnet8。

测试：利用Windows命令行ping 192.168.100.5   如果Linux系统回包，说明网络畅通。

总结：

                   网卡                    IP                子网掩码           网关               DNS

Linux             虚拟网卡VMnet1       192.168.100.5      255.255.255.0      192.168.100.1          未设

Windows           物理网卡             192.168.100.6      255.255.255.0      192.168.100.1          未设

Step04：修改主机名

(1) 修改当前回话的主机名

root用户权限下：

[root@localhost hadoop]# hostnamehadoop-yarn.dragon.org

(2) 修改全局主机名

[root@localhost hadoop]# vi /etc/sysconfig/network

修改完以后需要重启系统，使修改生效

[root@localhost hadoop]# reboot –h now        

Step05：绑定IP与主机名

[root@localhost hadoop]# vi /etc/hosts

绑定如下：

192.168.100.5   hadoop-yarn.dragon.org 

同时在Windows的hosts文件中加入该主机名，修改C:\Windows\System32\drivers\etc目录下的hosts文件

Step06：安装JDK

(1)  使用FTP远程工具上传jdk-7u65-linux-x64.gz到Linux系统/software目录下

(2)  解压jdk到安装目录

[root@localhost hadoop]# cd /software/

[root@localhost hadoop]# tar –zxvf jdk-7u65-linux-x64.gz–C /workDir  --解压到安装目录

(3)  配置环境变量

[root@hadoop-yarn workDir]# vi /etc/profile

增加如下内容：

export JAVA_HOME=/workDir/jdk7u6

PATH=.:$PATH:$JAVA_HOME/bin

(4)  验证

java –version

Step07：安装Hadoop2.2

(1)  解压tar -zxvf hadoop-2.2.0.tar.gz

cd /software

tar –zxvf Hadoop-2.2.0.tar.gz –C /workDir

(2)  配置换变量

[root@hadoop-yarn workDir]# vi /etc/profile

增加如下内容：

export HADOOP_HOME=/workDir/hadoop-2.2.0

PATH=.:$PATH:$HADOOP_HOME/bin

使生效：

source /etc/profile

(3)  替换本地库

cd /workDir/hadoop-2.2.0          --进入Hadoop-2.2.0解压目录

rm -rf ./lib/native/         --删除lib目录下的本地库

将之前编译好的源码包下的本地库拷贝过来

cp -r/workDir/hadoop-2.2.0-src/hadoop-dist/target/hadoop-2.2.0/lib/native//workDir/hadoop-2.2.0/lib/

 

Step08：配置环境变量

使用远程文本编辑工具NotePad++连接到Linux主机，打开/workDri/hadoop-2.2.0/etc/hadoop/目录下：

(1) 修改配置文件hadoop-env.sh:修改jdk安装目录,大概在27行：

exportJAVA_HOME=/workDir/jdk7u6

(2) 修改配置文件yarn-env.sh(大概在23行):

exportJAVA_HOME=/workDir/jdk7u6

(3)  修改配置文件mapred-env.sh(大概在16行)

exportJAVA_HOME=/workDir/jdk7u6

Step09：修改配置文件core-site.xml

<configuration>

         <property>   

              <name>fs.default.name</name>

              <value>hdfs://hadoop-yarn.dragon.org:8020</value>

         </property>

         <!--############### set directory ############### -->

         <property>

              <name>hadoop.tmp.dir</name>

              <value>/workDir/hadoop-2.2.0/data/tmp</value>

         </property>

     </configuration>

说明：上面分别设置了：①主节点NameNode的主机名和端口；②临时目录

此时，需要创建该临时目录：

[hadoop@hadoop-yarn workDir]$ su --切换到root用户

[root@hadoop-yarn workDir]# chmod -R 777hadoop-2.2.0   --授权

[root@hadoop-yarn workDir]# su hadoop     --切回hadoop用户

[hadoop@hadoop-yarn workDir]$ cd /workDir/hadoop-2.2.0

[hadoop@hadoop-yarn hadoop-2.2.0]$ mkdir -pdata/tmp         --创建二级目录

Step10：修改配置文件hdfs-site.xml

     <property>        

           <name>dfs.replication</name>

           <value>1</value>

    </property>

说明：由于这里是伪分布式安装，只有一台机器，所以副本数设置为1个。实际生产集群环境下可以设置多份(默认3份)。

Step11：修改配置文件yarn-site.xml

<property>

           <name>yarn.nodemanager.aux-services</name>

           <value>mapreduce_shuffle</value>

    </property>

Step12：修改配置文件mapred-site.xml

(1)  修改mapred-site.xml.template文件名为mapred-site.xml

cd/workDir/hadoop-2.2.0/etc/hadoop

cp mapred-site.xml.templatemapred-site.xml         --拷贝一份

(2)  修改mapred-site.xml文件内容

     <property>                      

          <name>mapreduce.framework.name</name>

           <value>yarn</value>

    </property>

说明：MapReduce运行在yarn平台之上