从零搭建Hadoop环境

软件版本

虚拟机	VMware12
系统	CentOS6.5

1.  安装VMware 

2.  VMware新建虚拟机

     在选择安装系统选项中，选择“稍后安装操作系统”。

3.  虚拟机环境配置

      “内存”采用默认即可；“处理器”核心数量可以根据真实机核数进行更改，勾选虚拟化选项可以映射真实机性能；    

     “CD/DVD”勾选使用ISO映像文件，并添加下载好的CentOS6.5的路径；“网络适配器”选择连接方式，推荐桥接；

* 完成以上三步已经相当于购买了真实机的裸机，接下来需要安装Linux系统。

4.  安装CentOS

     勾选UTC时间校对，设置root密码；

     手动分区      例：/boot-->[200MB];/home-->[2000MB];swap-->[1000MB];/-->[剩下全部空间]

     选择Desktop模式，对于新手来说比较容易上手

5.  更改网络设置

     ①安装好VWware后出现虚拟机网卡VMnet1、VMnet8；

 相对应VMware处于各种网络适配器模式, 即：VMnet0[桥接]，VMnet1[host-only]，VMnet8[nat]

     ②设置VMware自选网段： 在VMware软件根目录中，找到vmnetcfg.exe，使用管理员权限打开后

          为了简便采用Host-only模式,即选VMnet1,输入一个子网IP，例如192.168.8.0

     ③设置windos机器IP ：网络适配器中选取VMnet1，设置其IP 例192.168.8.100

     ④修改虚拟机主机名：在终端输入vim /etc/sysconfig/network后，修改HOSTNAME=xdrHadoop ，xdrHadoop为修改的主机名

     ⑤设置虚拟机IP：在终端中输入vim /etc/sysconfig/network-scripts/ifcfg-eth0后，

     添加或修改：BOOTPROTO="static"  IPADDR="192.168.8.88" NETMASK="255.255.255.0" GATEWAY="192.168.8.1"

     ⑥添加HOST映射：在终端输入vim /etc/hosts，加入192.168.8.88    xdrHadoop

     ⑦关闭防火墙：为了后续操作不会产生不必要麻烦便将防火墙给关闭，指令如下：

     关闭防火墙：service iptables stop 查看防火墙状态：service iptables status

     查看防火墙开机启动状态：chkconfig iptables --list 关闭防火墙开机启动：chkconfig iptables off

     需要在终端输入：chkconfig iptables off 后再输入重启命令reboot，完成关闭防火墙操作

6.  安装JDK

     在VMware中安装vmware tools后，可以直接复制真实机上下载好的JDK，粘贴到虚拟机上。

     对桌面的jdk进行解压，首选创建一个独立的文件夹，再将JDK解压到其中，mkdir /usr/java  ，tar -zxvf jdk-7u55-linux-i586.tar.gz -C /usr/java/

     设置java环境变量：vim /etc/profile  在文件最后添加export JAVA_HOME=/usr/java/jdk1.7.0_79        export PATH=$PATH:$JAVA_HOME/bin

     更改完环境后，需要刷新环境source /etc/profile 注：在linux中环境PATH的分割符使用的是‘：’

7.  安装Hadoop

     同理JDK，上传并解压Hadoop包：mkdir /xdr     tar -zxvf hadoop-2.2.0.tar.gz -C /xdr/

     修改配置文件

          使用hadoop2.2.0版本，需要修改5处配置文件，均在hadoop包中etc内。

          ①hadoop-env.sh     在27行处加入export JAVA_HOME=/usr/java/jdk1.7.0_79

          ②core-site.xml    

<configuration>

<property>

<name>fs.defaultFS</name>

<value>hdfs://xdrHadoop:9000</value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/xdr/hadoop-2.2.0/tmp</value>

</property>

</configuration>

③hdfs-site.xml

<configuration>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

</configuration>

④mapred-site.xml

先将mapred-site.xml.template重命名：mv mapred-site.xml.template mapred-site.xml

<configuration>

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

</configuration>

⑤yarn-site.xml

<configuration>

<property>

 <name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

</configuration>

⑥将hadoop加入环境中

vim /etc/profile

export JAVA_HOME=/usr/java/jdk1.7.0_79

export HADOOP_HOME=/xdr/hadoop-2.2.0

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

⑦格式化HDFS文件系统

     hdfs namenode -format

8.  测试安装情况 

     ①启动 HDFS          ./start-dfs.sh

     ②启动YARN          ./start-yarn.sh

     ③使用JPS指令查看是否出现 ResourceManager、NameNode进程

9.  配置SSH免登陆

     ①进入/home挂载中的.ssh/

          cd ~          cd .ssh/

     ②ssh-keygen -t rsa 生成公钥与私钥

     ③将公钥拷贝到虚拟机认证密钥中---[即在哪台设备想免登陆，就把当前设备的公钥拷贝到对应机器的认证密钥文件夹中]

          cp id_rsa.pub authorized_keys