cloudera 5 的安装测试步骤

Clouder  Hadoop  集群安装步骤。

提示：   本来是写到 文档里的。    然后 就粘贴到这里， 

结果好像是 屏幕截图， 无法自动上来。 

我也懒得再搞图片上来了。就这样吧。 

只要前面的几个步骤 系统设置。   处理好。    一般过程不会出问题的。 

就是出问题了。 安装提示都可以解决。 

 

一．  系统要求， 为了与线上的版本一致。    我们选用了对应的版本。

 

1.  Os  ： centeros 7.x  

2. 数据库：  mysql 5.6   （ 关闭 5.6 特性：  密码特性， gtid特性。）

 

2.1          从官方文档看， 对mysql 5.6 以上版本支持上有些问题，

          因为 gtid  对 insert   select 语法的不支持，

          因为测试环境， 对密码没那么高要求， 我们也取消了新密码功能。

2.2   根据官方文档， 数据库会膨胀的比较快。 最好是单独设备。

2.3     支持  mysql ， postgresql， oracle 三种数据库品牌。  

 

3. Jdk  1.8  版本，  点名要求  oracle jdk ， linux 系统自带的open jdk 不支持。

4 .  内存:  越大越好,  最低要求 8g  内存, 要觉得顺畅点, 要10G   这是官方文档的最低要求.

              后记:  刚开始设置 2g 内存, 安装过程中,各种坑都出来了. 搞死. 

             然后内存改为 4G  ,我心里想差不多了.  还是各种坑. 没商量. 

              最后搞到10g  内存.  轻松愉快的就搞定. 

即便是 10 G 内存,  全部安装起来后, 跑了几个测试代码, 还是 各种报警,  

 看来  10G  也只是能顺利 跑个work count 而已. 

 

二．  安装

 

1.   我们采用了离线安装方法，这种方法比较容易控制。便于以后的系统升级，  

 

   用 tar 包方式安装

1.1   版本选择：

  cloudera-manager-centos7-cm5.15.1_x86_64.tar.gz

  CDH-5.15.1-1.cdh5.15.1.p0.4-el7.parcel

  CDH-5.15.1-1.cdh5.15.1.p0.4-el7.parcel.sha1

manifest.json

 

1.2   下载地址

http://archive.cloudera.com/cdh5/parcels/5.15.1/

https://archive.cloudera.com/cm5/cm/5/

 

2.  系统设置：

2.1  系统关闭 selinux 支持：

 

  setenforce   0   （临时生效） 修改 /etc/selinux/ config  下的 SELINUX=disabled （重启后永久生效）

2.2  修改 swap 交换设置。

 Cloudera 建议将 /proc/ sys /vm/ swappiness 设置为 0 

echo 0 > /proc/sys/vm/swappiness  

设置为开机执行 写到 /etc/rd.d/rc.local 中.

 

2.3    关闭 big page 支持.

echo never > /sys/kernel/mm/transparent_hugepage/enabled

echo never > /sys/kernel/mm/transparent_hugepage/defrag

设置为开机执行 , 写到rc.local .

 

2.4  设置时间服务器同步 .  ntpdate . 时间不同步,会导致hbase 无法启动.

 

2.5   设置各节点间 无密码 ssh .

            我们设置的是 hadoop 用户.

 

3.   安装 mysql  5.6   

  采用我们自己定制的安装包 ,安装mysql 5.6  

   给 root 用户授权.

  Create  database  cm;

  Grant all on  *.*  to ‘root’@’%’  identified by ‘root’ ;

   Flush privileges ;  

   

 

4.   安装 jdk  :

   所有主机安装 jdk :  jdk1.8.0_201  

   设置 java home  :  export JAVA_HOME=/usr/java/dk1.8.0_201

        下载 mysql 驱动:  mysql-connector-java-5.1.46-bin.jar

         放置一份 到 $JAVA_HOME/lib

 

5.   所有主机设在 /etc/hosts  

       把集群所有的 hostname 补全.

 

6.  设置安装目录 :

 

      配置默认的安装目录为  /opt/cm-x.x.x     /opt/cloudera .

 

7.  安装  cloudera  manager  .

 

7.1   解压    cloudera-manager-centos7-cm5.15.1_x86_64.tar.gz

       到  /data/cm-5.15.1    

        Ln  -s   /data/cm-5.15.1   /opt/cm-5.15.1  

 

  7.2   copy 一份 mysql 驱动 到  /opt/cm-5.15.1/share/cmf/lib

 

 7.3   修改  /opt/cm-5.15.1/etc/cloudera-scm-agent/config.ini

[General]

# Hostname of the CM server.

server_host=db-test-vm13-38.ctc  

 

7.4 初始化   数据库 :

/opt/ cm -5.15.1/share/ cmf /schema/ scm_prepare_database.sh mysql cm -hlocalhost -uroot -proot --scm-host localhost scm scm scm 

 

注意 :  初始化代码要root 运行. 否则会报错.

7.5  同步目录 到所有的节点:

S cp  -rp  /data/ cm-5.15.1/*    root@x.x.x.x:/opt/cm-5.15.1  

 

7.6  所有节点 添加 daemon 用户.

  useradd --system \

 --home= /opt/ cm -5.15.1/run/ cloudera-scm-server \

 --no-create-home \

 --shell=/ bin/ false \

 --comment "Cloudera SCM User" \

 cloudera-scm

 

 

 7.7  启动 cloudera server :

 

        /opt/cm-5.15.1/etc/init.d/cloudera-scm-server start

 

       /opt/cm-5.15.1/etc/init.d/cloudera-scm-agent start   

 

7.8  所有节点都启动agent

  

/opt/cm-5.15.1/etc/init.d/cloudera-scm-agent start   

          这里在其他节点启动的时候 ,可能会报错.

            Cd  /opt/cm-5.15.1/lib/cloudera-scm-agent  

            Rm -rf  *

            /opt/cm-5.15.1/etc/init.d/cloudera-scm-agent start  

            主要问题是因为从主节点   复制过来的时候 .

            Uuid  标示文件重复.

 

 

8.  安装  parcel .

8.1    在主节点 设置 :

Mkdir  -p  /opt/clouder/parcel-repo

将

CDH-5.15.1-1.cdh5.15.1.p0.4-el7.parcel

  CDH-5.15.1-1.cdh5.15.1.p0.4-el7.parcel.sha1

manifest.json

放置到   目录中 .

 

8.2   修改   CDH-5.15.1-1.cdh5.15.1.p0.4-el7.parcel.sha1  文件名

   CDH-5.15.1-1.cdh5.15.1.p0.4-el7.parcel.sha

 

 

8.3   安装 parcel

 

          访问  web 页面 13.38:7180/cmf/login

  

              

 

默认的 用户名密码 admin/admin

 

     

8.4   版本选择 :

 

8.5   选择主机 :

 

 

  这里正常情况括号里会显示所有的节点的数量

 

如果不对 , 那么应该是有节点的 agent 启动有问题  登陆对应节点,  

按照前面方法 重新启动 agent .

 

 

 

 

 

 

8.6   安装 :

 

 

      如果我们前面设置 parcel 目录  修改  sha  文件, 以及这些问题件的权限没问题的话, 这个下载 tab 应该是瞬间就完成了.

 

         如果很慢 , 那么就要去 主节点 上看看   /opt/cm-5.15.1/log/cloudera-scm-server/  里面日志.

 

             多半是因为 sha 不对, 又去到  官方网站下载去了. 一般不会有问题.

 

如果有问题了 ,跟官网核对下sha 里面的验证码, 或者配置 主机的 代理能去到 官网.

 

 

8.7   安装过程中的问题 :

 

安装过程中 ,可能会有提示,某个节点 运行状况不良.

这个时候 ,多半是因为对应节点的资源不够, 导致agent 运行状态不好.

到对应节点 , 重启 agent  服务就可以解决这个问题.

 

8.8   安装过程 :

 

 

8.9  全部安装完成 进入检测页面 :

 

 

 

 

8.10   系统检测结果 :

 

 

 

  如果 这里显示 ,有检测结果 错误, 可以点击进去后, 有提示问题的原因, 以及对应的解决方法,

 

   按照对应的解决方法 , 处理就可以了.

      

       到这里  parcel 就安装完成了.

 

 

 

9.   安装服务 :

9.1    安装服务 :

 

选择全部服务 .

 

9.2  设置页面 :

 

 

一般选择默认设置就可以了 . 测试环境, 以后可以再修改.

 

9.3   数据库库选项 :

 

 

这里需要   再数据库中 建立对应的数据库 以及对应的数据库用户密码和授权 .

我们采用了简单密码方式 .

create  database  hive; 

grant all  on  hive.* to 'hive'@'%'  identified by 'hive'; 

create  database  hue ;

grant allon hue.* to 'hue'@'%'  identified by 'hue' ;

create  database  oozie ; 

grant all on oozie.* to 'oozie'@'%' identified by 'oozie'; 

 

9.4 hbase :

 

 

 

 

9.5  hive 安装中的错误处理:

 

缺少  mysql 驱动，  把 mysql驱动放到  hive_home/lib

Hive_Home  参数:  可以从日志找到 : /opt/cloudera/CDH/lib/hive/lib

 

  然后继续运行或者重启失败的步骤:

 

 

安装成功 .

 

9.6  oozie  的故障处理:

 

同样的也是缺少  mysql 驱动导致的.

opy  mysql驱动到/var/lib/oozie   

 

然后重新运行失败的步骤 .

问题解决 :

 

 

9.7   所有服务安装完成 :

 

 

 

9.8   重新登录页面后变成这样了 :

 

 

里面具体的项目可以如何设置 ,包括 hdfs .yarn 等的 ha 功能,都可以在web 上设置完成.相当方便.

 

 

 

各个项目 ,子系统都可以很好的检测到.

 

 

到此 项目安装完成 .

 

 

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/133735/viewspace-2636553/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/133735/viewspace-2636553/