部署Hadoop集群
一.部署master
<一>生成master公钥
$su进入#root
1.打开终端 输入 ssh-keygen -t rsa(生成RSA公钥)
2.输入cd ~/.ssh 切换到home目录下的.ssh文件下
3.mv id-rsa.pub authorized_keys
4.ssh localhost
5.Su 切换到root用户
<二>关闭防火墙、拷贝公钥
1.vi /etc/selinux/config
改为disabled
System--管理--防火墙--禁用--应用
2.查看防火墙是否关闭
Service iptables status
Service Firewalls status
Get enforce
重启(shutdown -r now)
3.由于之前我们在分配主机组号和主机号的命名(全为数字),后期会出现问题,需要更改主机名
Vi /etc/sysconfig/network
执行:hostname (更改后的主机名) 使更改生效
注意:主机名命名不能全为数字且必须以字母开头
查看更改是否成功:hostname 回车
4.在hosts文件里添加DNS
root权限下 vi/etc/hosts
增加一行 10.10.88.*(本机IP地址) i36101*(主机名)
5.把公钥拷贝出来,并给予权限
cp/root/.ssh/is_rsa /home
chmod 644 id_rsa
注意:若直接使用root用户下的生成的id_rsa公钥或直接拷贝出来的id_rsa,在浏览器读取时会出现问题,我们要把拷贝出来的id_rsa给予读取权限)
6.安装红象
进入home/3610
./R <Tab>补全文件名 <回车>安装
注意:在安装时出现界面时,需看到compete或sucess在按键盘N进入下一步
<三>在浏览器部署Hadoop
1.安装完成后进入浏览器(localhost:8080)安装
2.输入主机名,选择刚刚拷贝出来并给予了权限的home目录下的公钥
3.若未出问题,注册成功,默认并下一步,选择服务时我们先勾选前两个,若有需要,后面再一个一个加,避免出错。
二. 进行slave部署
1.关闭slave主机的防火墙,做法如同master
2.分发master的公钥到slave,进行免密登入。
在master下执行:
su进入root/.ssh目录 cp authorized_keys id_rsa.pub
ssh-copy-id root@slve
3.分别在master ,slave执行:
yum update
4.部署好slave后在master浏览器管理下选择添加slave
三.下载并安装eclipse
1.选择相应eclipse,下载好后加压缩到home/3610用户目录下
2.$Su root切换到root权限下,cd /home/3610
3.安装Java包,双击/home/3610目录下解压缩后的eclipse文件里的eclipse进入安装
新建一个WordCount程序,并并配置好要in输入,output输出到的文件
四.创建WordCount程序验证集群是否部署成功
1.新建一个Java工程,再新建一个class类,创建一个Java文件
2.配置好输入输出数据的文件夹:/root/etc/hosts /home/output
3.在已新建好的Java文件编写WordCount或网上download一个,选择添加相应Java包
Java包目录:/home/usr/hadoop/
4.选择添加好缺少的Java包后运行程序,若输入输出信息无问题,程序运行成功,则集群部署成功
五.Hadoop集群基本操作和管理
Hadoop数据管理账户:hdfs
linux系统账户:root
本机账户:3610(一般不用)
集群:
切换到hdfs账户:su hdfs
1.用hdfs创建目录 /user/root
hdfs fs -mkdir 目录
2.授权给root用户:Hadoop fs -chown hdfs root
3.用root用户上传文件:Hadoop fs -put [文件]
4.用Hadoop 命令提交作业
Hadoop jar name.jar pkg.class [parm]