搭建cdh全过程
1)根据文档 “安装RedHat+Linux+7” 安装好centos7的操作系统 (3台机器,内存9g、3g、3g; 磁盘40g、15g、15g)
实际配置多台机器:?
1)利用cdh配置大数据集群环境
2)制作一个系统(里面已经安装了所需要的软件)
3)系统安装,然后主节点肯定从头到尾配置(里面会存在mysql,clouderManager-Server,,,从节点所没有的东西)
4)系统安装,从节点里面的配置还是得手动设置如,网络、ip地址映射、防火墙,,,
5)增加节点,删除节点利用cdhManager,前提是之前的配置都ok,也拷贝了clouder-cm这个包吧
实际上,各机器的系统安装(运维有它们的方式)、配置各机器的网络ip(用脚本实现)、最后cdh页面管理添加!
思考问题:如果集群几十台机器,难道要逐一经行ip的配置吗?
建立centos系统时,选择的是本机模式,然后搭建系统的过程中进行的网络ip对应的是vm8的网段,配置的ip不对,没对 应(本机模式 --》vmware1, Nat模式 --》 vmware8)
以后搭建一开始就选择NAT模式。(配置好后,再查看机器的ip跟ifcfg-ens33的IP是否一致)
这样ip配置成功之后,就可以使用shell工具进行配置多台机器,可以通过shell给每台机器配置ssh,配置ssh之前得给各机器用户添加无密码使用sudo命令的权限(同时关闭SELinux,否则ssh连接会要密码) ,再写脚本配置多台机器
这样的方案应该可以是可以执行的,虽然虚拟机都是通过克隆出来的,但是它们的ip都不一样的
我们这里因为机器比较少,所以就用手动配置了,上述这种方案遇到多台机器的时候可以尝试
给cdh用户添加无密码使用sudo命令的权限 (这里也先不配置吧),我这次主要想能通过clouder manager把cdh集群搭建起来,其它的问题先不管了
vi /etc/sudoers
cdh ALL=(ALL) NOPASSWD: ALL
关闭SELinux,否则ssh连接会要密码 (没关也没见要密码)
查看SELinux状态
/usr/sbin/sestatus -v
修改配置文件需要重启机器:
vim /etc/selinux/config
SELINUX=disabled
2)配置网卡设置ip、让虚拟机可以上网
虚拟机怎么ping不通百度呢?(四个方面)
a.windows中的vmware8的网段对应windows中的网段(手动设置)
b.虚拟机中打开编辑网络编辑器,点击vmware8,选择NAT模式,子网网段与之前的保持一致,如:192.168.1.0
c.虚拟机中点击设置,选择NAT模式
d.vi /etc/sysconfig/network-scripts/ifcfg-ens33
sudo chmod 777 /etc/sysconfig/network-scripts/ifcfg-ens33
vi /etc/sysconfig/network-scripts/ifcfg-ens33
选择NET模式,配置ip网关
BOOTPROTO=static
IPADDR=192.168.1.11
GATEWAY=192.168.1.2
DNS1=8.8.8