Cloudera manager CDH安装

 

hostname和hosts配置，参考如下配置：

        127.0.0.1 localhost.localdomain localhost
        192.168.1.1 cluster-01.example.com cluster-01
        192.168.1.2 cluster-02.example.com cluster-02
        192.168.1.3 cluster-03.example.com cluster-03 

 

禁用selinux.

     集群所有节点修改/etc/selinux/config 文件如下

     SELINUX=disabled
     SELINUXTYPE=targeted

关闭防火墙

        service iptables stop

        chkconfig iptables off

集群时钟同步

     安装ntpd服务

     service ntpd start

永久修改swappiness，

        echo 10 > /proc/sys/vm/swappiness

关闭transparent_hugepage

        echo never > /sys/kernel/mm/transparent_hugepage/defrag

        echo never > /sys/kernel/mm/transparent_hugepage/enabled

        将同一命令添加到 /etc/rc.local 等初始化脚本中，以便在系统重启时予以设置

软件安装

  注意集群各节点必须需安装依赖包，最后能连网或做yum源，由程序自动依赖安装：

  Python2.6

MySql-python

python-psycopg2

mod_ssl

openssl-devel

httpd

fuse-libs

perl

具体参考官网：

https://www.cloudera.com/documentation/enterprise/latest/topics/cm_ig_package_dependencies.html#package_dependencies

 

 安装mysql,启动mysql。

     创建用户授权

    grant all  on *.* to 'bigdata'@'%' identified by '*******' with grant option;

     flush privileges;

      安装jdbc驱动。将mysql驱动包放入/usr/share/java

      mv  mysql-connector-java-5.1.38.jar   mysql-connector-java.jar

下载cloudera manager CDH 软件。

        CDH 下载地址：http://archive.cloudera.com/cdh5/parcels/5.4.8/

        Cloudera manager下载地址：http://archive.cloudera.com/cm5/repo-as-tarball/5.11.0/

apache httpd server 安装。(一般linux系统自带这个服务，启动就可以了)。

        yum  -y  install  httpd

  Cloudera manager 安装

   1.配置本地repo源，

           cd  /etc/yum.repos.d

          [root@datacenter1 etc]# cd yum.repos.d/

          [root@datacenter1 yum.repos.d]# ls

          CentOS-Base.repo  CentOS-Debuginfo.repo  CentOS-Media.repo  CentOS-Vault.repo  cloudera-manager.repo        cloudera-manager.repo.~1~  cloudera-manager.repo.~2~

         [root@datacenter1 yum.repos.d]# pwd

                      /etc/yum.repos.d

         [root@datacenter1 yum.repos.d]# vi cloudera-manager.repo

                 [cloudera-manager]

                 name = Cloudera Manager, Version 5.11.0

                 baseurl = http://192.168.0.37/cm/5.11.0/

                 gpgcheck = 0

2.将cm5.11.0-centos6.tar.gz 解压到/var/www/html/

           tar  -zxvf  cm5.11.0-centos6.tar.gz  -C  /var/www/html/

 

3.CDH-5.4.8-1.cdh5.4.8.p0.4-el6.parcel,CDH-5.4.8-1.cdh5.4.8.p0.4-el6.parcel.sha,manifest.json 拷贝到/var/www/html/cdh5.11.0目录下

(我这用的是5.4.8，安装时用统一的版本就可以，cm支持比其低的版本，不支持高版本)

4.安装jdk

5．安装cloudera manager server

   5.1  yum  -y  install  cloudera-manager-server

   5.2  /usr/share/cmf/schema/scm_prepare_database.sh mysql cm –h 192.168.0.37 -uroot -p*****  --scm-host 192.168.0.37 scm scm scm

   5.3  启动cloudera manager server

         service  cloudera-scm-server  start

 

通过http://192.168.0.37:7180/访问

 

CDH安装

1. admin/admin 登录到 CM
2. 同意 license 协议，点击继续

 3. 选择免费,点击继续

  

4.点击继续

 

  5. 输入主机 ip 或者名称，点击搜索找到主机后点击继续

 

6.点击“继续”

 

7. 使用 parcel 选择，点击“更多选项” ,点击“ -”删除其它所有地址，输入
http://192.168.0.37/cdh5.4.8/点击“保存更改”

 

8. 选择自定义存储库，输入 cm 的 http 地址http://192.168.0.37/cm/5.11.0/

 

9.点击“继续”，进入下一步安装 jdk，可选

 

10.点击“继续”，进入下一步，默认多用户模式

11.点击“继续”，进入下一步配置 ssh 账号密码(如是root请选择root用户，避免不必要的错误用root用户安装)

 

12.点击“继续”，进入下一步，安装 Cloudera Manager 相关到各个节点

13. 点击“继续”，进入下一步安装 cdh 到各个节点

 

14. 点击“继续”，进入下一步主机检查，确保所有检查项均通过

 

 

15. 点击完成进入服务安装向导

 

集群设置安装向导

1. 选择需要安装的服务

​​​​​​​2. 点击“继续”，进入集群角色分配

 

3.点击“继续”，进入下一步，测试数据库连接。需要先在数据库中创建对应的库

 

4. 测试成功，点击“继续”，进入目录设置，此处使用默认默认目录，根据实际情况
进行目录修改

 

5.点击“继续”，进入各个服务启动

6.安装成功

 

7. 安装成功后进入 home 管理界面

 

注意：

建议定期备份cloudera manager所用的数据库及集群各服务的数据库。

cdh数据目录外层目录权限必须是755  chmod 755 /data