Hadoop（一）--安装、配置与简单测试

  刚刚开始接触Hadoop，发现网上好多安装教程都是适用1.x版本的，但现在都hadoop版本都已经到3.0了，不太适用于一个初学者，查了些资料，看了一些相关视频，才对Hadoop有一个初步了解，简单的配置了Hadoop，我使用的是Hadoop2.7.3，现在将Hadoop的安装配置总结如下：

  Hadoop的安装配置（伪分布模式）总共分为三个步骤：
  1. 安装Linux（使用CentOS 6.5 64位）
  2. 安装JDK（使用jdk-8u101-linux-x64.tar.gz)
  3. 安装Hadoop并配置文件(hadoop-2.7.3.tar.gz)

---

  开始之前，还可以使用一些软件，为了便于传输文件：
  1. winSCP：用于从windows向linux中传输文件
  2. Xshell

  使用winSCP将hadoop-2.7.3.tar.gz和jdk-8u101-linux-x64.tar.gz到CentOS中/opt（目录随意）

---

安装Linux并配置相关项

1. 安装虚拟机和CentOS就不再赘述，为了简单网络连接使用的桥接

2. 修改主机名（为了便于区分和之后配置文件）
   # vim /etc/sysconfig/network
   NETWORKING=yes

3. 修改IP地址，两种方式：

   • 第一种：
     # setup（CentOS独有的）
      Network configuration –> Device configuration —>选择网卡，设置IP地址，网关等
     #ifconfig eth0 up（启动eth0网卡）
      但是这样，重启后eth0不会自动启动，需要修改配置文件
   • 第二种：
     #vim /etc/sysconfig/network-scripts/ifcfg-eth0
       DEVICE=eth0
       HWADDR=00:0c:29:6e:fa:2d
       TYPE=Ethernet
       UUID=145ec129-2505-4e64-b97b-24a9bae43fec
       ONBOOT=yes #默认自动启动
       NM_CONTROLLED=yes
       BOOTPROTO=none
       IPADDR=192.168.1.100 #IP地址
       NETMASK=255.255.255.0 #掩码
       GATEWAY=192.168.1.1 #网关
       DNS1=202.106.0.20
       IPV6INIT=no
       USERCTL=no
     退出后更新配置：#source /etc/sysconfig/network-scripts/ifcfg-eth0

4. 修改主机名和IP的映射关系
   # vim /etc/hosts
     192.168.1.100 master

5. 关闭防火墙
     查看防火墙状态
   # service iptables status
     关闭防火墙
   # service iptables stop
     查看防火墙开机启动状态
   # chkconfig iptables –list
     关闭防火墙开机启动
   # chkconfig iptables off

安装JDK

1. 首先卸载自带的JDK（好像不卸载也没有问题）
   #rpm -qa | grep java查看jdk版本
   显示如下信息：
      jtzdata-java-2013g-1.el6.noarch
     java-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.x86_64
     java-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.x86_64
   卸载JDK:
   # rpm -e –nodeps tzdata-java-2013g-1.el6.noarch
   # rpm -e –nodeps java-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.x86_64
   # rpm -e –nodeps java-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.x86_64
2. 解压JDK
   # tar -zxvf /opt/jdk-8u101-linux-x64.tar.gz
     为了方便，重命名为jdk
   # mv jdk-8u101-linux-x64.tar.gz jdk
3. 将java添加到环境变量中
   # vim /etc/profile
   在文件最后添加：
     export JAVA_HOME=/opt/jdk
     e