大数据开发利器：Hadoop（2）

大数据开发利器：Hadoop（2）

1. 准备工作

本文软件配置：
- VW12.5
- CentOS release 6.8 64位 lsb_release -a
- JDK 1.7.0_25 64位 java -version
- Hadoop 2.7.3 hadoop version

1.1 使用VW安装CentOS

这步骤网络教程较多，不在过多讲解。注意以下几点：

• 如果内存小于或等于4G，推荐双系统安装，内存大于4G，可使用虚拟机安装。
• 虚拟机设置过程中注意内存分配、客户机操作系统选择（本文选择CentOS64位）
• 安装过程中注意Root密码设置、硬盘分区、软件安装等。初次安装建议设置用户名为hadoop，下面就不用再添加hadoop用户了。

顺便吐槽一下，CentOS 6.8默中文字体非常丑，建议安装完成之后选择系统->首选项（Preferences）->外观（Appearance）修改一下。

1.2 修改主机名和用户名

为了统一开发环境，这里需要修改主机名和用户名。
① 添加用户

sudo useradd -m hadoop -s /bin/bash # 添加以hadoop为用户名的用户
sudo passwd hadoop # 设置密码

这里需要输入root密码。
② 修改当前主机名

 hostname # 查看当前主机名
 vim /etc/syconfig/network # 使用Vim修改配置文件，但也可以使用类似windows的记事本gedit，操作简单一些
 hostname hadoop

第二步中修改HOSTNAME=hadoop
设置完成之后，注销当前用户，使用刚刚创建的hadoop用户登录。

1.3 配置网卡

① 进行配置

sudo vim /etc/sysconfig/network-scripts/ifcfg-eth0

修改如下:

DEVICE=eth0  # 默认，物理设备名
HWADDR=00:0C:29:23:83:95 # 默认，MAC地址
TYPE=Ethernet # 默认
UUID=xxxxx # 默认，全局统一标识符
ONBOOT=yes # 修改，[yes|no]  引导时是否激活网卡
NM_CONTROLLED=yes # 默认
BOOTPROTO=dhcp # 默认，[none|static|bootp|dhcp] （引导时不适用协议|静态分配|Bootp协议|DHCP协议）

设置BOOTPROTO参数为dhcp是由于虚拟机采用NAT方式。
修改完成之后，重启网络服务，并测试是否能上网。
② 测试连接

service network restart
ping www.baidu.com

③ 修改hosts

vim /etc/hosts

在下面增加一行： ip地址 主机名
ip地址使用命令 ifconfig查看
例如：127.0.0.1 hadoop

1.4 配置SSH无密码连接

Hadoop并不是通过SSH协议进行数据传输，Hadoop仅仅时在启动和停止的时候需要主节点通过SSH协议将从节点上面的进程启动或停止。即不配置SSH对Hadoop的使用没有任何影响，只需要在启动和停止Hadoop的时候输入每个从节点的用户名的密码就行了，但是一旦集群的规模增大，这种方式不可取同时也不利于学习和调试。
① 在配置SSH无密码连接之前，先关闭防火墙。

service iptables stop 
chkconfig iptables off #永久关闭防火墙
vim /etc/selinux/config

设置SELINUX=disabled （原来为enforcing）
此步存疑，我使用该版本时未关闭但仍可完成安装并启动。不过大部分教程均提到，所以设置一下也无妨。
② 检查SSH是否安装
CentOS一般附带了SSH，所以首先检查一下是否安装。

sudo service sshd restart
rpm -qa | grep openssh
rpm -qa | grep rsync

如果已经安装好SSH和rsync（一个远程数据同步工具，可通过LAN/WAN快速同步多台主机的文件），将会如下图所示。

当然，如果没有安装，使用如下命令进行安装。

sudo yum install openssh-clients
sudo yum install openssh-server

安装完成之后使用上面的方法进行验证。
④ 测试ssh是否可用

ssh localhost

首次登录，输入yes 和用户密码。
这样每次都需要输入密码，所以配置相应的SSH无密码登录更方便一些。

exit   # 退出刚才的ssh localhost
cd ~/.ssh/ #ssh localhost之后会自动生成
ssh-k