linux怎样自启多个节点服务,Linux的企业-Hadoop的多节点配置

一.配置环境

redhat6.5

server1 172.25.29.1  hadoop master nfs

server2 172.25.29.2  nfs

server3 172.25.29.3  nfs

server4 172.25.29.4  nfs

server5 172.25.29.5  高可用备机 nfs

使用 nfs 共享同步配置文件

二.Hadoop单点配置

1.安装hadoop和jdk

4da46e4a43c40e1324fb19cdec04555a.png

使用hadoop用户运行

ae377f12f52c0511b24ddb7e12091e03.png

2.配置hadoop在java上的运行环境

cf900123ad4991f8ab2f7320bb50e5af.png

1fd08e86d4c14199ed89393e2591a387.png

3.算法模块测试

65101df18e080c485ae8c33fab0ead18.png

64132ddd13e7befeeec45660df9add67.png

9df835f4bc1dd487ef31a28c4375bd71.png

output生成的数据

ae1007bd7a20b3905ccfc65af65963b8.png

4.配置单点hadoop

67d0c1406727f3894051d815c8610e7f.png

ed7fc16ab42e775f11a1e40a9b609591.png

30ebd712588652148341fd7d59c5fdc7.png

5.给hadoop设置用户密码,设置主机之间免密

78c6548310c3ee4e9cc902241b88be33.png

630578023443fe439d0d4c983267cb30.png

073b6bc6882270d1288d9211fea047a5.png

494e6631996c2c751878a114a7e0fed6.png

6.设置储存节点为1个

2e995a59ea078ed575984690fc978fad.png

8241104567821ef4dbb06bc66ef8515f.png

7.格式化hdfs

17cec87e0fdb26e7464f0dee759bd0f9.png

8.启动hadoop

6b2b2261a0382b2488323bc30d1b70c3.png

9.设置查看进程的java的命令jps的运行路径

0d83867adf21bb880794359f8ce91ca8.png

ff6b24c1072843f7aba88cf6cd217ac8.png

10.查看节点运行状态,测试

d29cd0670c0a3430bb9766e39997d7d7.png

12a87df24c4168a1a794869c54e0c5ad.png

11.以文本模式查看结果

d402541e0d2e1cef35bbf8570ad7c780.png

创建目录

c29b7e1c22672b0bc7eca3667372203a.png

028a732bf0cb5ee6192f98639a37e50f.png

e6a1deee1255663fdddc8769a0fe312e.png

3f42e9d837e2cd0187784f705324ca22.png

68b251ad8d8c42bde2e1bb5d785992d0.png

四.多节点hadoop配置

使用 nfs 共享同步配置文件

1.server1配置nfs服务

16d1894b85302bd0aa561c3726220dc1.png

553b01627cea8a0f0c94817711ae42c2.png

85c7a9363cebfcf5f9718119eb571d95.png

cea10d34e98905fdfadefc573563cb9b.png

2.在server2至server5安装nfs,并新建hadoop用户,并启动rpcbind

a51034ebdf9d45a0e33376d8e9fd7f0d.png

df8ec429f6ccb95dfc3166f36217ced0.png

5f682f3e7492dddbe927c705655aee4e.png

3.建立主机之间免密

d32bd95db3cf19992a8cbd363c4b4ce5.png

34fc1da85ca2bb44b8586d6e31db223f.png

957629bc2ad935a49aa84da676a7d0bd.png

4.hadoop集群配置

edf0c4bb50b08d7b7e045f210803ed52.png

0e30028d40e9834367bcfd6748e6f384.png

5d2404695ebbeaa9c0979b4461d86ac3.png

5.格式化hdfs

95cda85a7ad420a21db534a2bd35ecfb.png

d7d50657bd39f466558dd4c1141c5041.png

6.启动hadoop集群

f7b4f0cb38372f00bac40a01e6e7b287.png

查看节点2,3和状态

9d103adcfe4ca9b7a41618915ac377d6.png

2d6fe50a1a1f3abaadf178adfe526b0b.png

7.登陆web 172.25.29.1:50070

fb321b0214e8bd85a8239134fc19bc8b.png

8.启动集群管理资源模块

296a613b1eb73c5a06d21c0b086908ef.png

c59000488f8b12cb8ec96e36059dc23e.png

164ae24d47ea1b15b3b2322c4a85226a.png

9d33fda7af26e979c2871f841eb935be.png

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值