华为云Centos7搭建hadoop集群一:云服务器准备
搭建大数据集群,个人推荐起步8g的内存,之前购买4g的,没跑任务已经只有几百兆的空间了。
购买华为云服务-官网选择自己心仪的花钱买就行,我是双十二趁活动购买的,比较便宜,配置为三台4核16g。购买服务器后:
登录华为云控制台,修改root用户密码,配置安全组
修改密码:更多->重置密码,可以选中三台一起修改
修改安全组:
控制台显示的内网IP要配置可以互相连接,像我买了三台就直接配置三台的连接,另外最好不要开放很多端口,可以对自己的IP配置开放所有端口,如自己IP:192.168.1.1
就配置为 192.168.1.1/32
查看自己IP方法,百度本机IP,就可以了,因为小伙伴和我一起学习,所以22端口我开了所有,不过不建议这么做
在控制台设置安全组,选择自己刚才配置的安全组即可,或者在设置处关联实例,关联上自己的IP信息即可
配置好安全组后,可以使用xshell工具等连接自己服务器外网IP
确定可以连接后,ping 一下百度看下是否网络畅通。
一般华为的内网IP不会随便更改,所以修改网卡的步骤我省略了,如果想要修改的话,参考这个图片
修改hostname
vi /etc/hostname
两下dd清除当前行,然后i切换为输入模式,我的三台分别对应hadoop01,hadoop02,hadoop03
更改完成后按esc返回命令模式,按住shift+: 左下角出现一个冒号,输入wq然后回车进行保存
修改域名映射,域名映射要使用内网IP
vi /etc/hosts
注释前面几行,使用自己的域名映射关系
#::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
#127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
#127.0.0.1 ecs-411785-0002 ecs-411785-0002
192.168.0.XXX hadoop01
192.168.0.XXX hadoop02
192.168.0.XXX hadoop03
这些都做完后,使用reboot重启服务器,华为服务器重启个人感觉有点慢,需要稍等一下再重新连接,重新登陆后,
显示的主机名就是自己更改的了
如果以上有问题,可以在华为云提交工单,人工反馈还是很快的,另外安全组,建议所有端口开放的只对自己的IP进行设置,
ssh端口可以开放,但是密码一定不要是简单的密码,云服务不是自己的虚拟机,一定要注意系统安全问题,可以在随机密码网站
生成,我的是26位密码加特殊字符,另外除了root自己创建的用户,密码一定不要太简单,防止入侵。