章节内容
上一节完成:
- HDFS集群XML的配置
- MapReduce集群XML的配置
- Yarn集群XML的配置
- 统一权限
- DNS统一配置
背景介绍
这里是三台公网云服务器,每台 2C4G,搭建一个Hadoop的学习环境,供我学习。
之前已经在 VM 虚拟机上搭建过一次,但是没留下笔记,这次趁着前几天薅羊毛的3台机器,赶紧尝试在公网上搭建体验一下。
注意,如果你和我一样,打算用公网部署,那一定要做好防火墙策略,避免不必要的麻烦!!!
请大家都以学习为目的,也请不要对我的服务进行嗅探或者攻击!!!
但是有一台公网服务器我还运行着别的服务,比如前几天发的:autodl-keeper 自己写的小工具,防止AutoDL机器过期的。还跑着别的Web服务,所以只能挤出一台 2C2G 的机器。那我的配置如下了:
- 2C4G 编号 h121
- 2C4G 编号 h122
- 2C2G 编号 h123
请确保上一节内容已经配置完毕
Hosts 修改(必须!重要!坑多!)
这里是必须的,不然后续集群之间互通会很麻烦。配置不好的话集群之间会互相不认证。
由于云服务器会给你配置一些没用的东西,导致后续的集群通信有问题,你需要参考我的配置:
目前我在 h121
节点上,你需要把自己这台的域名映射到 0.0.0.0
。
比如你在h122
节点上,你需要配置成0.0.0.0 h122.wzk.icu
。
此外,其他的你需要注意,尽量不要
绑定127
、localhost
,避免服务无法暴露,统一都到 0.0.0.0
!!!
下面的配置供你参考!
h121机器
配置结果如下:
h122机器
配置结果如下:
h123机器
开启ROOT
如果你的账户不是ROOT,那你需要过一下这章节。
如果你是ROOT,那请略过!!!
ROOT密码
输入密码,两次确认。
开启SSH
编辑如下内容,请确保都有:
退出保存,重启SSH服务
SSH Key
生成SSH秘钥
一路回车就可以,什么都不需要设置。
免密登录
配置免密
需要在三台机器上,都执行一次如下的命令。
此时会要求你输入登录机器的密码,输入即可。
测试免密
如果是可以正常登录,那表示你已经成功配置,恭喜你!
查看免密
所有免密的 Key 都会放在这里:
移除免密
对当中的内容编辑即可,删除对应的,免密就会失效。
分发脚本
安装工具
这里选择使用 rsync
编写脚本
在 /usr/local/bin
下的命令 可以全局执行
写入如下内容,你可能需要稍稍做一些修改,修改成你的,仅供参考:
执行权限
测试脚本
写了一个文本文件,测试脚本是否正常。
执行脚本: