centos6.5平台下Hadoop集群部署

部署Hadoop集群

一.部署master

<一>生成master公钥

$su进入#root

1.打开终端 输入 ssh-keygen -t rsa(生成RSA公钥)

2.输入cd ~/.ssh 切换到home目录下的.ssh文件下

3.mv id-rsa.pub authorized_keys

4.ssh localhost

5.Su 切换到root用户

<二>关闭防火墙、拷贝公钥

1.vi /etc/selinux/config

改为disabled

System--管理--防火墙--禁用--应用

2.查看防火墙是否关闭

 Service iptables status

 Service Firewalls status

 Get enforce

 重启(shutdown -r now

3.由于之前我们在分配主机组号和主机号的命名(全为数字),后期会出现问题,需要更改主机名

Vi /etc/sysconfig/network

执行:hostname (更改后的主机名) 使更改生效

注意:主机名命名不能全为数字且必须以字母开头

查看更改是否成功:hostname 回车

4.在hosts文件里添加DNS

 root权限下 vi/etc/hosts

增加一行 10.10.88.*(本机IP地址)  i36101*(主机名)

5.把公钥拷贝出来,并给予权限

 cp/root/.ssh/is_rsa /home

 chmod 644 id_rsa

注意:若直接使用root用户下的生成的id_rsa公钥或直接拷贝出来的id_rsa,在浏览器读取时会出现问题,我们要把拷贝出来的id_rsa给予读取权限)

6.安装红象

进入home/3610

./R <Tab>补全文件名 <回车>安装

注意:在安装时出现界面时,需看到competesucess在按键盘N进入下一步

<三>在浏览器部署Hadoop

1.安装完成后进入浏览器(localhost:8080)安装

2.输入主机名,选择刚刚拷贝出来并给予了权限的home目录下的公钥

3.若未出问题,注册成功,默认并下一步,选择服务时我们先勾选前两个,若有需要,后面再一个一个加,避免出错。

二. 进行slave部署

1.关闭slave主机的防火墙,做法如同master

2.分发master的公钥到slave,进行免密登入。

 在master下执行:

 su进入root/.ssh目录 cp authorized_keys id_rsa.pub

ssh-copy-id root@slve

3.分别在master ,slave执行:

yum update

4.部署好slave后在master浏览器管理下选择添加slave

三.下载并安装eclipse

1.选择相应eclipse,下载好后加压缩到home/3610用户目录下

2.$Su root切换到root权限下,cd /home/3610

3.安装Java包,双击/home/3610目录下解压缩后的eclipse文件里的eclipse进入安装

  新建一个WordCount程序,并并配置好要in输入,output输出到的文件

四.创建WordCount程序验证集群是否部署成功

1.新建一个Java工程,再新建一个class类,创建一个Java文件

2.配置好输入输出数据的文件夹:/root/etc/hosts  /home/output

3.在已新建好的Java文件编写WordCount或网上download一个,选择添加相应Java

 Java包目录:/home/usr/hadoop/

4.选择添加好缺少的Java包后运行程序,若输入输出信息无问题,程序运行成功,则集群部署成功

五.Hadoop集群基本操作和管理

Hadoop数据管理账户:hdfs

linux系统账户:root

本机账户:3610(一般不用)

集群:

切换到hdfs账户:su hdfs

1.用hdfs创建目录 /user/root

 hdfs fs -mkdir 目录

2.授权给root用户:Hadoop fs -chown hdfs root

3.用root用户上传文件:Hadoop fs -put [文件]

4.用Hadoop 命令提交作业

  Hadoop jar  name.jar pkg.class  [parm]

 

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值