CDH安装

安装包链接百度网盘：百度网盘 请输入提取码

提取码：fqf6

安装步骤

1、准备4台服务器
    cdh1
    cdh2
    cdh3
    cdh4

    1、克隆base
        1、修改主机名
            vim /etc/sysconfig/network
            通过 service network restart 重启网络服务生效
        2、删除网卡配置
            rm -rf /etc/udev/rules.d/70-persistent-net.rules
        3、修改ip地址
            vim /etc/sysconfig/network-scripts/ifcfg-eth0
        4、
            配置hosts
            vim /etc/hosts

                192.168.129.201 cdh1
                192.168.129.202 cdh2
                192.168.129.203 cdh3
                192.168.129.204 cdh4

安装cdh

1、免密钥，server和agent还有自己做免密码
    ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
    ssh-copy-id cdh1/cdh2/cdh3/cdh4
2、关闭防火墙    所有节点
       临时关闭：setenforce 0
     service iptables status
3、SELINUX关闭        所有节点
    vim /etc/selinux/config (SELINUX=disabled)   永久关闭，需要重启生效
    /usr/sbin/sestatus –v   查看状态
4、安装java环境        所有节点
    1、删除之前的jdk
        1、
        rpm -qa|grep java  查询自带jdk
        rpm -e --nodeps  包名
        2、
        删除jdk1.8
    2、安装jdk1.7
        rpm -ivh jdk-7u67-linux-x64.rpm
    3、配置环境变量
        vi /etc/profile
        export JAVA_HOME=/usr/java/default
        export PATH=$PATH:$JAVA_HOME/bin
5、时间同步  所有节点
    yum install ntp -y
    ntpdate -u s2c.time.edu.cn
    
时间同步报以下错误
[root@cdh2 ~]# yum install ntp -y
Loaded plugins: fastestmirror, refresh-packagekit, security
Loading mirror speeds from cached hostfile
YumRepo Error: All mirror URLs are not using ftp, http[s] or file.
 Eg. Invalid release/repo/arch combination/
removing mirrorlist with no valid mirrors: /var/cache/yum/x86_64/6/base/mirrorlist.txt
Error: Cannot find a valid baseurl for repo: base
    
    
可以按一步一步执行修复
1.sed -i "s|enabled=1|enabled=0|g" /etc/yum/pluginconf.d/fastestmirror.conf
2.mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup
3.curl -o /etc/yum.repos.d/CentOS-Base.repo https://www.xmpan.com/Centos-6-Vault-Aliyun.repo 
4.yum clean all
5.yum makecache

      

6、安装mysql（安装mysql之前需要卸载之前的mysql）

//rpm包安装方式卸载
查包名：rpm -qa|grep -i mysql
删除命令：rpm -e –nodeps 包名
 
//yum安装方式卸载
1.查看已安装的mysql
命令：rpm -qa | grep -i mysql
2.卸载mysql
命令：yum remove mysql-community-server-5.6.36-2.el7.x86_64
查看mysql的其它依赖：rpm -qa | grep -i mysql
 
//卸载依赖
yum remove mysql-libs
yum remove mysql-server
yum remove perl-DBD-MySQL
yum remove mysql

yum安装：
    1、yum install mysql-server -y
    2、chkconfig mysqld on
    3、service mysqld start
    4、service mysqld status
    5、修改 mysql 权限
        mysql 进入mysql 第一次不需要密码
        use mysql;
        GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123456' WITH GRANT OPTION;  --修改权限
        delete from user where host !='%';--删除多余的权限
        flush privileges;--刷新权限
        select host,user from user;--查看权限
        
错误解决：
问题一：阿里云CentOs 6.4 yum报错Couldn’t resolve host’xx
在centOs上安装软件时。提示报错信息：
Loaded plugins: security
http://mirrors.aliyun.com/centos/6/os/x86_64/repodata/repomd.xml: [Errno 14] PYCURL ERROR 6 - “Couldn’t resolve host ‘mirrors.aliyun.com’”
Trying other mirror.
http://mirrors.aliyuncs.com/centos/6/os/x86_64/repodata/repomd.xml: [Errno 14] PYCURL ERROR 6 - “Couldn’t resolve host ‘mirrors.aliyuncs.com’”
Trying other mirror.

原因
dns服务器没有配置正确

解决办法：
打开文件/etc/resolv.conf在其中添加：
vim /etc/resolv.conf
nameserver 8.8.8.8
nameserver 8.8.4.4
search localdomain

然后重启网卡：使用命令: service network restart

问题二：CentOS7下解决yum install mysql-server 异常：No package mysql-server available.问题
 mysql  admin 
检查是否安装了MySQL

rpm -qa | grep mysql
一般安装MySQL比较方便的方法：

yum install mysql
yum install mysql-server
yum install mysql-devel
yum安装mysql-server没有可用包问题解决方法：

step 1: wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm

step 2: rpm -ivh mysql-community-release-el7-5.noarch.rpm

经过以上两个步骤后再次执行：yum install mysql-server 命令就可以成功安装了。

MySQL启动：

service mysqld start

7、安装第三方依赖包  所有节点
    yum install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb -y

==============================================================
所有节点都要安装
8、上传压缩包
    cloudera-manager*.tar.gz
9、创建安装目录
    mkdir /opt/cloudera-manager
10、解压安装包
    tar xvzf cloudera-manager*.tar.gz -C /opt/cloudera-manager
    拷贝到其他节点，解压
11、创建cdh安装用户
    useradd --system --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

12、修改server ip地址
修改文件/opt/cloudera-manager/cm-5.4.3/etc/cloudera-scm-agent/config.ini 中
server_host=cdh1 以及 server_port
    vim /opt/cloudera-manager/cm-5.4.3/etc/cloudera-scm-agent/config.ini
    同步到其三个节点
    scp /opt/cloudera-manager/cm-5.4.3/etc/cloudera-scm-agent/config.ini cdh2:/opt/cloudera-manager/cm-5.4.3/etc/cloudera-scm-agent/

13、配置CM Server数据库
    1、上传mysql jar（mysql-connector-java-5.1.26-bin.jar）文件到目录 /usr/share/java/   所有节点
        注意jar包名称要修改为mysql-connector-java.jar
    2、创建一个临时mysql用户
        mysql -u root -p
        use mysql;
        grant all on *.* to 'temp'@'%' identified by 'temp' with grant option;
        flush privileges;--刷新权限
    3、初始化cdh数据库
        cd /opt/cloudera-manager/cm-5.4.3/share/cmf/schema/
        ./scm_prepare_database.sh mysql temp -h cdh1 -utemp -ptemp --scm-host cdh1 scm scm scm
        格式：数据库类型、数据库、数据库服务器、用户名、密码、cm server服务器

14、创建Parcel目录
    Server节点
        mkdir -p /opt/cloudera/parcel-repo
        chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo
    Agent节点
        mkdir -p /opt/cloudera/parcels
        chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

15、上传文件到server的/opt/cloudera/parcel-repo目录下
    CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel
    CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel.sha
    manifest.json

16、启动cdh
 先确保启动了：mysql service mysqld start
    cd /opt/cloudera-manager/cm-5.4.3/etc/init.d/
    cdh1 server执行 ./cloudera-scm-server start
    cdh2/cdh3/cdh4 agent执行 ./cloudera-scm-agent start

    日志输出目录
    cd /opt/cloudera-manager/cm-5.4.3/log/cloudera-scm-server
    tail -f 上面目录下的log文件

17、访问cdhweb界面
    http://cdh1:7180/
    用户名密码：admin
    
18.1、MySql 建库&&删库
##amon
create database amon DEFAULT CHARACTER SET utf8;
grant all on amon.* TO 'amon'@'%' IDENTIFIED BY 'amon';
##hive
create database hive DEFAULT CHARACTER SET utf8;
grant all on hive.* TO 'hive'@'%' IDENTIFIED BY 'hive';
##oozie
create database oozie DEFAULT CHARACTER SET utf8;
grant all on oozie.* TO 'oozie'@'%' IDENTIFIED BY 'oozie';