三台机器集群搭建

下载的地址：

http://archive.cloudera.com/cdh5/cdh/5/oozie-4.1.0-cdh5.14.2.tar.gz http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.14.2.tar.gz http://archive.cloudera.com/cdh5/cdh/5/hue-3.9.0-cdh5.14.2.tar.gz http://archive.cloudera.com/cdh5/cdh/5/zookeeper-3.4.5-cdh5.14.2.tar.gz http://archive.cloudera.com/cdh5/cdh/5/spark-1.6.0-cdh5.14.2.tar.gz http://archive.cloudera.com/cdh5/cdh/5/hbase-1.2.0-cdh5.14.2.tar.gz http://archive.cloudera.com/cdh5/cdh/5/hive-1.1.0-cdh5.14.2.tar.gz http://archive.cloudera.com/cdh5/cdh/5/flume-ng-1.6.0-cdh5.14.2.tar.gz

 

配置：

一： 初始化环境部署处理
============================
注：安装过程都使用root用户

CDH 安装在/opt。
============================    
1.1 环境准备：
    Centos7.3x64 所有主机名配置 配置好 所有机器的无密钥登陆
    
1.2 主机名配置
    主机名 IP
    master 192.168.9.80
    slave1 192.168.9.20
    slave2 192.168.9.220

    配置/etc/hostname
    分别是master和slave1和slave2
    
    3台都配置/etc/hosts

    加入:
    192.168.9.80 master
    192.168.9.20 slave1
    192.168.9.220 slave2
    
1.3 关闭防火墙
        systemctl stop firewalld.service
        systemctl disable firewalld.service
        firewall-cmd
        
        关闭iptables：
        iptables -F
        systemctl stop iptables.service 
        service iptables save
        systemctl disable iptables.service 
        
        禁用 selinux ：
        vi /etc/selinux/config 
        将selinux=enforcing改成selinux=disabled
    
1.4 配置SSH免密登录
    1.每台服务器下都输入命令 ssh-keygen -t rsa，生成 key，一律不输入密码，直接回车，/root 就会生成 .ssh 文件夹。
        注意（.ssh文件默认隐藏,使用ls   -al 即可查看）
    
    2.在 192.168.9.80 服务器下，合并公钥到 authorized_keys 文件，进入 /root/.ssh 目录，通过 SSH 命令合并.
        cat id_rsa.pub>> authorized_keys
        ssh root@192.168.9.20 cat ~/.ssh/id_rsa.pub>> authorized_keys
        ssh root@192.168.9.220 cat ~/.ssh/id_rsa.pub>> authorized_keys
    3.把 192.168.9.80 服务器的 authorized_keys、known_hosts 复制到 192.168.9.20、192.168.9.220 服务器的 /root/.ssh 目录
        scp authorized_keys root@192.168.9.20:/root/.ssh/
        scp authorized_keys root@192.168.9.220:/root/.ssh/
        scp known_hosts root@192.168.9.20:/root/.ssh/
        scp known_hosts root@192.168.9.220:/root/.ssh/
        
        到192.168.9.20下
        scp ~/.ssh/authorized_keys slave2:~/.ssh/
        到192.168.85.220下
        scp ~/.ssh/authorized_keys master:~/.ssh/
        scp ~/.ssh/authorized_keys slave1:~/.ssh/

1.5 所有机器配置JDK1.8
    rpm -qa | grep java 如果有的话请先卸载
    卸载命令：rpm –e --nodeps(忽略依赖) 安装包名
    下载jdk-8u171-linux-x64.tar.gz
        上传到目录/software

        解压:tar xzvf jdk-8u171-linux-x64.tar.gz -C /opt/
        配置环境变量
            vim /etc/profile
            
            export JAVA_HOME=/opt/jdk1.8.0_171
            export PATH=$JAVA_HOME/bin:$PATH
            export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
        使环境变量生效
            source /etc/profile

1.5 所有机器配置外部YUM源
    备份/etc/yum.repos.d/CentOS-Base.repo
        cp /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup
    
    将yum配置文件放入到yum.repos.d文件夹下
        cp CentOS7-Base-163.repo /etc/yum.repos.d/
    进入yum源配置文件所在文件夹
        cd /etc/yum.repos.d
    运行yum makecache生成缓存
        yum makecache
    更新系统(时间比较久,主要看个人网速)
        yum -y update
        
    安装ntp服务
        yum install ntp

1.7 配置ntp服务器（master）
    https://blog.csdn.net/worldchinalee/article/details/82109932
    1.安装ntp
        yum -y install ntp 
    2.在master查看是否启动ntp服务：
        service ntpd status
    3.同步时间
        ntpdate pool.ntp.org 
    4.修改本地机器作为ntp服务器
        cd /etc/
        mv ntp.conf ntp.conf.bak
        vim ntp.conf
        # 修改后的内容如下：
        # 系统时间与BIOS时间的偏差记录
        driftfile /var/lib/ntp/drift
        # restrict控制权限
        # 对于默认的client拒绝所有的操作
        restrict default kod nomodify notrap nopeer noquery
        # 针对ipv6的默认client操作
        restrict -6 default kod nomodify notrap nopeer noquery
        # 允许本机访问
        restrict 127.0.0.1
        restrict -6 ::1
        # 允许网段10.75.299访问
        restrict 10.75.229.0 mask 255.255.255.0 nomodify notrap
        # 本机作为ntp源
        server  127.127.1.0 
        fudge   127.127.1.0 stratum 10
    4.同步硬件时钟
        vim /etc/sysconfig/ntpd
        SYNC_HWCLOCK=yes
    5.确认服务器状态
        # pgrep ntpd
        # netstat -tlunp|grep ntp
        # ntpstat
        # ntpq -p
    6.配置客户端
        先在客户端安装ntp服务:
        yum install ntp ntpdate -y 
        
        ntpdate 192.168.9.80
        
        每天晚上1点同步时间
        crontab -e 00 01 * * * root /usr/sbin/ntpdate 192.168.9.80; /sbin/hwclock -w 
1.8安装mysql(5.6.41)
    1、先检查系统是否装有mysql
        rpm -qa | grep mysql如果有的话请先卸载(yum remove mysql)
        
        rpm -e --nodeps 
        
        这里返回空值，说明没有安装
    2、下载mysql的repo源
        wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm
        补充：如果这里wget命令不能用则用yum安装wget
        yum install wget
        
    3.安装mysql-community-release-el7-5.noarch.rpm包
        sudo rpm -ivh mysql-community-release-el7-5.noarch.rpm
        
    4.安装mysql
        sudo yum install mysql-server
        
        根据步骤安装就可以了，不过安装完成后，没有密码，需要重置密码。

        安装后再次查看mysql
    5.安装完毕后启用mysql服务
        # systemctl start mysqld
        # systemctl status mysqld
        
        接下来登录重置密码：
        mysql -u root -p
        mysql > use mysql;
        mysql > update user set password=password('123456') where user='root';
        mysql > exit;
        重启mysql服务后才生效 # systemctl restart mysqld
        
        必要时加入以下命令行，为root添加远程连接的能力。链接密码为 “root”（不包括双引号）

            mysql> grant all privileges on *.* to 'root'@'%' identified by '123456' with grant option;

            
        查询数据库编码格式，确保是 UTF-8

            show variables like "%char%";
            set names utf8;
        
    6.配置mysql
    
        6.1 mysql安装在主节点上，使用mysql命令登录

        6.2 新建一个scm用户，并赋予所有权限，密码是scm

            mysql> grant all on *.* to 'scm'@'localhost' identified by 'temp' with grant option;
            
            Query OK, 0 rows affected, 1 warning (0.00 sec)
    7.查看安装的mysql版本:mysql -V    
    
    8.重启mysql命令：systemctl restart mysqld
    
    9. 开机启动
       systemctl enable mysqld.service
==========================================================================================================    
二： CDH5.14.2 安装与配置
1、配置HADOOP
    新建用户hadoop，从root用户获取/opt文件夹的权限，所有节点都要执行
    useradd -m hadoop -s /bin/bash
    passwd hadoop
    chown -R hadoop /opt/
    chown -R hadoop /software
    
    解压Hadoop 
    tar -zxvf /software/hadoop-2.6.0-cdh5.14.2.tar.gz -C /opt/