CDH集群搭建全量文档

CDH集群搭建全量文档

 

 

很快公司申请下来了一批非常牛逼的机器作为新的生产环境，老的节点机器考虑后续回收。。。

 

 

 

 

接下来就要展示本次CDH的开发环境的全部制作情况，如果有任何的疑问，请留言告知我改正，基本上遇到的坑也都在本文档中有所处理，接下来，就是所有文档。

 

 

 

 

 

 

 

 

同学给的文档   
https://blog.csdn.net/dongyunlon/article/details/79755791

离线的
https://www.cnblogs.com/CaptainLin/p/7089766.html

cdh完美卸载文档
https://blog.csdn.net/weixin_35852328/article/details/81774627

秘钥：
https://blog.csdn.net/u010003835/article/details/85006786

https://blog.csdn.net/u010003835/article/details/85007946

useradd --system --home=/opt/cm-5.8.0/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

这篇文章比较吊！！！
https://www.jianshu.com/p/d2c524ec0d1b
可行的。。。

这个也很吊。。。
http://www.aboutyun.com/thread-9075-1-1.html

照样给的好像也不错

https://www.cnblogs.com/CaptainLin/p/7089766.html

文档记录：
1.Starting cloudera-scm-server:                              [失败]

service --status -all

cloudera-scm-server 已死，但 pid 文件仍存

以下为全部安装3变都成功的自己爬坑的文档了。

1.jdk安装与配置

                     yum -y install java-1.8.0-openjdk-devel.x86_64

                    修改/etc/profile并且source /etc/profile

                    JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.212.b04-0.el7_6.x86_64
                    JRE_HOME=$JAVA_HOME/jre
                    PATH=$PATH:$JAVA_HOME/bin
                    CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
                    export JAVA_HOME
                    export JRE_HOME
                    export PATH
                    export CLASSPATH

2.用一下阿里的yum源
                    yum install -y lrzsz
                    https://opsx.alibaba.com/mirror

                    wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo

                    172.16.1.117   node1
                    172.16.1.118   node2
                    172.16.1.119   node3

3.关闭防火墙

                        注意： 需要在所有的节点上执行，因为涉及到的端口太多了，临时关闭防火墙是为了安装起来更方便，安装完毕后可以根据需要设置防火墙策略，保证集群安全。

                关闭防火墙：

                service iptables stop （临时关闭）  
                chkconfig iptables off （重启后生效）
                关闭SELINUX（实际安装过程中发现没有关闭也是可以的，不知道会不会有问题，还需进一步进行验证）:

                setenforce 0 （临时生效）  
                修改 /etc/selinux/config 下的 SELINUX=disabled （重启后永久生效）

                CentOS 7.0
                 
                一、配置防火墙，开启80端口、3306端口

                默认使用的是firewall作为防火墙，这里改为iptables防火墙。

                1、关闭firewall：

                systemctl stop firewalld.service #停止firewall

                systemctl disable firewalld.service #禁止firewall开机启动

4.所有节点配置NTP服务
                                        集群中所有主机必须保持时间同步，如果时间相差较大会引起各种问题。 具体思路如下：

                                        master节点作为ntp服务器与外界对时中心同步时间，随后对所有datanode节点提供时间同步服务。

                                        所有datanode节点以master节点为基础同步时间。

                                        所有节点安装相关组件：yum install ntp。完成后，配置开机启动：chkconfig ntpd on,检查是否设置成功：chkconfig --list ntpd其中2-5为on状态就代表成功。

                                        centos 7     systemctl enable ntpd  systemctl is-enabled ntpd 

                                         

                                        主节点配置

                                         位置/etc/ntp.conf

                                        在配置之前，先使用ntpdate手动同步一下时间，免得本机与对时中心时间差距太大，使得ntpd不能正常同步。这里选用202.112.10.36作为对时中心,ntpdate -u 202.112.10.36。
                                        
                                        最好是是用清华大学的
                                        ntpdate -u 210.72.145.44

                                        ntp服务只有一个配置文件，配置好了就OK。 这里只给出有用的配置，不需要的配置都用#注掉，这里就不在给出：

                                        driftfile /var/lib/ntp/drift
                                        restrict 127.0.0.1
                                        restrict -6 ::1
                                        restrict default nomodify notrap 
                                        server cn.ntp.org.cn prefer
                                        includefile /etc/ntp/crypto/pw
                                        keys /etc/ntp/keys
                                        配置文件完成，保存退出，启动服务，执行如下命令：1 service ntpd start

                                        2 centos7 systemctl start ntpd  ntpstat

                                         

                                        检查是否成功，用ntpstat命令查看同步状态，出现以下状态代表启动成功：

                                        synchronised to NTP server () at stratum 2
                                        time correct to within 74 ms
                                        polling server every 128 s
                                        如果出现异常请等待几分钟，一般等待5-10分钟才能同步。

                                        配置ntp客户端（所有datanode节点）

                                        driftfile /var/lib/ntp/drift
                                        restrict 127.0.0.1
                                        restrict -6 ::1
                                        restrict default kod nomodi