离线安装cloudera manager和cloudera hadoop(cdh5.10.0)

对于要学习大数据的同学来说，hadoop可以说是肯定要接触的，而环境搭建是避免不了的。对于快速的傻瓜式搭建分布式环境，cloudera manager是一个很好的选择。下面进行详细的讲解

1 相关操作系统和软件：

        1.1 虚拟软件：vmware

        1.2 操作系统：Oracle Linux 7 Update 4 for x86 64 bit V921569-01.iso

        2.3 下载Cloudera Manager安装所需的RPM包：

            http://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.10.0/RPMS/x86_64/（下载路径下的所有内容）

        1.4 下载Cloudera Hadoop所需的parcel文件：

        （下载对应操作系统的el7版本和manifest.json文件，并将sha1改为sha）

            http://archive.cloudera.com/cdh5/parcels/5.10.0/

                     CDH-5.10.0-1.cdh5.10.0.p0.41-el7.parcel CDH-5.10.0-1.cdh5.10.0.p0.41-el7.parcel.sha1 manifest.json

        1.5 下载Cloudera Manager Repository：（CM版本库）

            http://archive.cloudera.com/cm5/redhat/7/x86_64/cm/cloudera-manager.repo

注：操作系统和CM CH的版本可以根据自己的情况修改，安装步骤相同，但安装的版本号要和操作系统的一样，操作系统是6版本的就下载el6的CM CH包，7版本的就下载el7的CM CH包。

配置两台虚拟机，一个主，一个从。（电脑内存允许的话，建议三台）主节点建议给4G+的内存

为了测试安装方便，本次所有操作都是在root用户下进行的

2 环境准备

        2.1 配置主机名（所有节点）

            vim /etc/hostname

                bigdata-master.cdh.com master

            vim /etc/sysconfig/network

                bigdata-master.cdh.com master

             从节点换成对应从节点的主机名

        2.2 设置网络开机自启（所有节点）

    cd /etc/sysconfig/network-scripts
    vim ifcfg-ens33

           然后vim所使用的网口，将ONBOOT=no改为ONBOOT=yes

        2.3 配置/etc/hosts文件（所有节点）
    vi /etc/hosts

        127.0.0.1   localhost.localdomain localhost

                192.168.110.140 bigdata-master.cdh.com master

                192.168.110.141 bigdata-worker.cdh.com worker

 

        2.4 关闭防火墙（所有节点）
    systemctl stop firewalld.service

    systemctl disable firewalld.service

        2.5 disabled 关闭SELinux（所有节点）
    vim /etc/selinux/config

        修改SELinux=disabled。重启后方可生效

        2.6 设置ssh免密登陆（主到从）
        master:
ssh-keygen -t rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys
scp ~/.ssh/authorized_keys root@worker:~/
cd .ssh
ssh-agent bash
ssh-add ~/.ssh/id_rsa
        worker：
ssh-keygen -t rsa
mv authorized_keys ~/.ssh/

在master节点验证：ssh worker（验证不成功也没有关系，关机重启后就可以了）

        2.7 卸载系统自带的OpenJDK（所有节点）
    rpm -qa |grep java  

    yum remove java*

        2.8 安装jdk（所有节点）（没有安装包的话可以到oracle网站去下载，需要1.7+版本）
     mkdir /usr/java
    将 jdk 安装包上传至java文件夹 jdk-8u131-linux-x64.tar.gz
    解压文件 tar -zxvf jdk-8u131-linux-x64.tar.gz
     移除文件 rm -rf jdk-8u131-linux-x64.tar.gz
    授权 chmod +x /usr/java/jdk1.8.0_131/bin/*
     配置环境变量 vim ~/.bash_profile
#jdk
export JAVA_HOME=/usr/java/jdk1.8.0_131
export PATH=$JAVA_HOME/bin:$PATH
    source ~/.bash_profile
    验证 java -version

 

        2.9 设置文件打开数量和用户最大的进程数（所有节点）

            查看

        ulimit -a

        ulimit -u
    >>设置
        vim /etc/security/limits.conf

            添加内容如下：

        * soft nofile 65535
        * hard nofile 65535
        * soft nproc 32000

 

        * hard nproc 32000

 

        2.10 设置时间同步（主到从）
    修改master节点的
        vim /etc/chrony.conf配置文件
        添加内容：
            allow 10.0.0.0/24
            bindcmdaddress 0.0.0.0
            local stratum 10
                保存退出后启动服务
            systemctl enable chronyd.service
            systemctl start chronyd.service
    修改worker节点的
        vim /etc/chrony.conf配置文件

        添加如下内容：

                    server controller iburst

                保存退出后启动服务
            systemctl enable chronyd.service
            systemctl start chronyd.service

            检验（主节点）

                chronyc sources

        2.11 构建本地源（主节点）
            安装apache服务器
    首先查看是否安装了apache服务器
rpm -qa|grep http
service httpd status
    没有的话 安装
yum install httpd
    启动

service httpd start

            启动完成后通过浏览器可以看到apache页面（ip/或者主机名）

3 开始安装

    3.1（所有节点） 将cloudera-manager.repo的内容修改为：

        name = Cloudera Manager, Version 5.10.0
        baseurl = http://bigdata-master.cdh.com/5.10.0/

        gpgcheck = 0

    然后上传至/etc/yum.repos.d文件夹下

    3.2（主节点） 在/var/www/html/下新建文件夹5.10.0 然后将下载的rpm包和repodata文件夹放到目录下

        具体路径如下：

            

            

    3.3 将cloudera-manager-installer.bin放置在任意位置授予可执行权限

        

    3.4 执行安装cloudera manager

        [root@bigdata-master home]# ./cloudera-manager-installer.bin 

        一路ok同意协议，遇到问题根据提示擦好看日志解决即可。

 

安装完成后提示信息会显示访问路径，用户名和密码（ip/hostname:7180       admin/admin）

使用浏览器进行访问，（需要等待一到两分钟启动服务）

    

    3.5  将下载的cdh安装包放入/opt/cloudera/parcel-repo中

        在cloudera manager安装完成后会在/opt文件夹下生成cloudera文件夹下，将下载的cdh安装包放入/opt/cloudera/parcel-repo中

 

4 cloudera安装

    登陆之后按照提示进行，基本如下

    

    搜索后全部选中，继续即可。（由于我已经安装完成，所以都是已经受管制的，无法选中）