centos6.5平台下Hadoop集群部署

部署Hadoop集群

一．部署master

<一>生成master公钥

$su进入#root

1.打开终端 输入 ssh-keygen -t rsa（生成RSA公钥）

2.输入cd ~/.ssh 切换到home目录下的.ssh文件下

3.mv id-rsa.pub authorized_keys

4.ssh localhost

5.Su 切换到root用户

<二>关闭防火墙、拷贝公钥

1.vi /etc/selinux/config

改为disabled

System--管理--防火墙--禁用--应用

2.查看防火墙是否关闭

 Service iptables status

 Service Firewalls status

 Get enforce

 重启（shutdown -r now）

3.由于之前我们在分配主机组号和主机号的命名（全为数字），后期会出现问题，需要更改主机名

Vi /etc/sysconfig/network

执行：hostname （更改后的主机名） 使更改生效

注意：主机名命名不能全为数字且必须以字母开头

查看更改是否成功：hostname 回车

4.在hosts文件里添加DNS

 root权限下 vi/etc/hosts

增加一行 10.10.88.*（本机IP地址）  i36101*（主机名）

5.把公钥拷贝出来，并给予权限

 cp/root/.ssh/is_rsa /home

 chmod 644 id_rsa

注意：若直接使用root用户下的生成的id_rsa公钥或直接拷贝出来的id_rsa，在浏览器读取时会出现问题，我们要把拷贝出来的id_rsa给予读取权限）

6.安装红象

进入home/3610

./R <Tab>补全文件名 <回车>安装

注意：在安装时出现界面时，需看到compete或sucess在按键盘N进入下一步

<三>在浏览器部署Hadoop

1.安装完成后进入浏览器（localhost:8080）安装

2.输入主机名，选择刚刚拷贝出来并给予了权限的home目录下的公钥

3.若未出问题，注册成功，默认并下一步，选择服务时我们先勾选前两个，若有需要，后面再一个一个加，避免出错。

二. 进行slave部署

1.关闭slave主机的防火墙，做法如同master

2.分发master的公钥到slave，进行免密登入。

 在master下执行:

 su进入root/.ssh目录 cp authorized_keys id_rsa.pub

ssh-copy-id root@slve

3.分别在master ,slave执行：

yum update

4.部署好slave后在master浏览器管理下选择添加slave

三．下载并安装eclipse

1.选择相应eclipse，下载好后加压缩到home/3610用户目录下

2.$Su root切换到root权限下，cd /home/3610

3.安装Java包，双击/home/3610目录下解压缩后的eclipse文件里的eclipse进入安装

  新建一个WordCount程序，并并配置好要in输入，output输出到的文件

四．创建WordCount程序验证集群是否部署成功

1.新建一个Java工程，再新建一个class类，创建一个Java文件

2.配置好输入输出数据的文件夹：/root/etc/hosts  /home/output

3.在已新建好的Java文件编写WordCount或网上download一个，选择添加相应Java包

 Java包目录：/home/usr/hadoop/

4.选择添加好缺少的Java包后运行程序，若输入输出信息无问题，程序运行成功，则集群部署成功

五．Hadoop集群基本操作和管理

Hadoop数据管理账户：hdfs

linux系统账户：root

本机账户：3610（一般不用）

集群：

切换到hdfs账户：su hdfs

1.用hdfs创建目录 /user/root

 hdfs fs -mkdir 目录

2.授权给root用户：Hadoop fs -chown hdfs root

3.用root用户上传文件：Hadoop fs -put [文件]

4.用Hadoop 命令提交作业

  Hadoop jar  name.jar pkg.class  [parm]