CDH到Cloudera Manager的完整搭建

   http://链接：https://pan.baidu.com/s/135LmaLgi6tFcsQp8QHO68Q

提取码：jony

上面是搭建环境所需要下载的包（mysql，jdk，cdh6.3.1，cm6.3.2），有需要可以自取。

1.下载vbox，electerm，CentOS-7-x86_64-Minimal-2009

2.在vbox设置（网络，储存，光驱）；虚拟机的设置：

（1）内存设置（内存10240，处理器：4），磁盘空间设置（60GB），环境设置（Linux）

（2）配置虚拟机：加入虚拟机（centos光驱），配置分区，分配内存（home删除，把内存空间都分配到root下54GiB），更改主机名，打开以太网，设置root密码

（3）在vbox网络配置（网关1：NAT，网关2：host-only）即可ping通

3.在electerm导入虚拟机(本人三个虚拟机的名字：cdh1,cdh2,cdh3)

新建new terminal 写入虚拟机的ip地址，用户名：root，在虚拟机开启的情况下，查看electerm中能不能ping通。

4.配置映射hosts，hostname，windows系统里的hosts

（1) vi /etc/hostname 修改主机名一个

  (2)vi /etc/hosts  写入ip和主机名三个

   192.168.56.102 cdh1

   192.168.56.103 cdh2

   192.168.56.104 cdh3

  (3)

   进入C:\Windows\System32\drivers\etc找到hosts

   添加      192.168.56.102 cdh1

   192.168.56.103 cdh2

   192.168.56.104 cdh3

  保存修改

5.设置免密码（ssh）（分别在三台虚拟机都运行）

生成密钥ssh-keygen -t rsa 

设置免密登陆 ssh-copy-id cdh1

                     ssh-copy-id cdh2

                     ssh-copy-id cdh3

测试：ssh cdh1/2/3

6.设置时间同步服务

vi /etc/chrony.conf

systemctl restart chronyd

chronyc sources

7.导入包可以放在/root路径下

(注意，上传的时候，jdk要放进cm6.3.1)

8.防火墙的关闭（分别在三台虚拟机都运行）

  systemctl stop firewalld.service 停止防火墙

  systemctl status firewalld.service 查看防火墙状态

  systemctl disable firewalld.service 删除防火墙

  systemctl status firewalld.service 查看……如下图即为关闭防火墙成功

9.关闭SELinux（分别在三台虚拟机都运行）

进入vi /etc/selinux/config

将 SELINUX=enforcing改为SELINUX=disable

在root路径：输入setenforce 0

10.设置Swap分区（分别在三台虚拟机都运行）

echo vm.swappiness=0 >> /etc/sysctl.conf

sysctl -p

11.transparent_hugepage透明大页面的关闭（分别在三台虚拟机运行）

关闭语句：

echo never > /sys/kernel/mm/transparent_hugepage/enabled

echo never > /sys/kernel/mm/transparent_hugepage/defrag

查看是否关闭成功：

cat /sys/kernel/mm/transparent_hugepage/enabled

永久关闭：进入文件 vi /etc/rc.d/rc.local  进入编写

提供文件权限：chmod +x /etc/rc.d/rc.local  这样文件的编写才会生效

进入vi /etc/sysctl.conf

编写 

 vm.swappiness=0

输入sysctl -p

12.yum

(1)下载httpd（cdh1）：

yum install httpd

systemctl start httpd 启动httpd

systemctl status httpd 查看httpd的状态（如下图即为启动成功）

(2)下载net-tools（cdh1，cdh2，cdh3）

yum install net-tools

(3)下载createrepo（cdh1）

yum install createrepo

查看语句：netstat -lntp

(4)下载epel-release（cdh1，cdh2，cdh3）

yum install epel-release

cdh1虚拟机进入路径：cd /etc/yum.repos.d/

     输入：cp CentOS-Base.repo ./Centos-Local.repo

     进入文件：vi Centos-Local.repo

     进入文件后编写：

        [base-local]

        name=CentOS-Local

        baseurl=http://cdh1/cdh_local_repo

        gpgcheck=0

        enabled=1

cdh1虚拟机在root路径移动文件(前提cm6.3.1文件中要有jdk)：mv cm6.3.1/ /var/www/html/cdh_local_repo

cdh1查看：ls /var/www/html/

        将查看出现的名字同步：createrepo /var/www/html/cdh_local_repo/

cdh1的root路径：mv cdh6.3.2/ /var/www/html/parcels

cdh1远程将cdh6.3.2传输到cdh2,cdh3：scp /etc/yum.repos.d/Centos-Local.repo cdh2:/etc/yum.repos.d/ 和 scp /etc/yum.repos.d/Centos-Local.repo cdh3:/etc/yum.repos.d/

在cdh2,cdh3查看有没有传输成功： ls /etc/yum.repos.d/

在cdh1,2,3使用：yum repolist (查看)

检查：CentOS-Local 是不是为8

13.MySql

前提mysql-community-release-e17-5.noarch.rpm要在root路径下

下载mysql    rpm -ivh mysql-community-release-e17-5.noarch.rpm

创建文件夹 mkdir /usr/share/java

复制mysql到改文件夹 ： cp mysql-connector-java.jar /usr/share/java/

查看mysql是否下载成功： ls  /usr/share/java/

先在cdh2,cdh3的虚拟机里操作：创建文件夹mkdir /usr/share/java 

在cdh1操作（将mysql远程传送到创建的java文件夹里）：scp mysql-connector-java.jar cdh2:/usr/share/java 和 scp mysql-connector-java.jar cdh3:/usr/share/java

cdh1下载：yum install mysql-server

        先启动服务：systemctl start mysqld

        进入mysql输入：mysql

        将密码改成’cqie‘：grant all privileges on *.* to root@'%' identified by 'cqie';

        改完之后刷新：flush privileges;

        退出：exit;

尝试用密码登录mysql： mysql -h192.168.56.102 -uroot -pcqie

创建了三个数据库（如下图）

14.JDK

cdh1查看jdk版本：yum list |grep jdk

cdh1,2,3都下载jdk1.8：yum install  jdk1.8

cdh1,2,3查看jdk有没有下载成功：javac -version

cdh1查看cloudera列表：yum list|grep cloudera

在cdh1虚拟机下载三个:

                                   yum install cloudera-manager-agent

                                   yum install cloudera-manager-server

                                   yum install cloudera-manager-daemons

在cdh2虚拟机上下载agent：yum install cloudera-manager-agent

在cdh3虚拟机上下载agent：yum install cloudera-manager-agent

在三台虚拟机上进入文件: vi /etc/cloudera-scm-agent/config.ini

                       修改内容：在cdh1的虚拟机：server_host=cdh1

                       在cdh2的虚拟机：server_host=cdh1

                       在cdh3的虚拟机：server_host=cdh1

只在cdh1虚拟机进入路径连接数据库：/opt/cloudera/cm/schema/scm_prepare_database.sh mysql scm --host cdh1 root cqie

cdh1,2,3建立超级用户 ：groupadd supergroup

cdh1,2,3输入：usermod -a -G supergroup root

在cdh1虚拟机上启动服务：systemctl start cloudera-scm-server

                        查看启动状态：systemctl status cloudera-scm-server

cdh1,2,3虚拟机启动agent：systemctl start cloudera-scm-agent

            查看启动状态：systemctl status cloudera-scm-agent

查看cdh1虚拟机的服务状态：netstat -lntp (看看有没有7180)

15.登录网页

在网址的位置输入cdh1：7180

用户名：admin

密码：admin