CDH 安装

注：此为hadoop CDH5.11离线安装

查看linux

1. cat /proc/version （Linux查看当前操作系统版本信息）

2.cat /etc/issue  或cat /etc/redhat-release（Linux查看版本当前操作系统发行版信息）

3.lsb_release -a 当前操作系统 的 详细信息

linux清理缓存的命令

查看缓存的命令

　　free -m

清理缓存的命令　

　　　  echo 1 > /proc/sys/vm/drop_caches

          echo 2 > /proc/sys/vm/drop_caches

          echo 3 > /proc/sys/vm/drop_caches

一、准备

 

安装所需文件

1 官网下载Cloudera Manager和CDH 5.11

Cloudera Manager下载地址：
http://archive.cloudera.com/cm5/cm/5/

cloudera-manager-el6-cm5.11.0_x86_64.tar.gz

CDH安装包

http://archive.cloudera.com/cdh5/parcels/latest/

 

CDH-5.11.0-1.cdh5.11.0.p0.34-el6.parcel

CDH-5.11.0-1.cdh5.11.0.p0.34-el6.parcel.sha1

manifest.json

 

2 JDK 8

 

3 mysql 5.6和最新的mysql JDBC connector

mysql-5.6.36-linux-glibc2.5-x86_64.tar.gz

mysql-connector-java-5.1.44-bin.jar

二、安装

1.安装 mysql-connector-java

安装mysql

 

mysql安装在slave2 192.168.10.131

 

1.1 检查是否存在mysql库文件

检查命令：rpm –qa | grep mysql

若存在则卸载：rpm -e --nodeps mysql-libs-5.1.71-1.el6.x86_64

强制安装，若之前有装过 会报

warning: mysql-connector-java-8.0.12-1.el6.noarch.rpm: Header V3 DSA/SHA1 Signature, key ID 5072e1f5: NOKEY
error: Failed dependencies:
    java-headless >= 1:1.8.0 is needed by mysql-connector-java-8.0.12-1.el6.noarch

问题

rpm -ivh mysql-connector-java-8.0.12-1.el6.noarch.rpm   --force --nodeps 

 

--nodeps就是安装时不检查依赖关系，比如你这个rpm需要A，但是你没装A，这样你的包就装不上，用了--nodeps你就能装上了。--force就是强制安装，比如你装过这个rpm的版本1，如果你想装这个rpm的版本2，就需要用--force强制安装

CDH安装过程中 网络异常 会出现安装页面 是否受管 是的页面，导致主机无法选中

首先

1> 删除Agent节点的UUID 

      # rm -rf /opt/cm-5.7.1/lib/cloudera-scm-agent/*

2>  清空主节点CM数据库

      进入主节点的Mysql数据库，然后drop database cm;

3> 在主节点上重新初始化CM数据库

     # /opt/cm-5.7.1/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -p123456 --scm-host localhost scm scm scm

1. 创建数据库 

CREATE DATABASE <database> DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

赋用户权限

GRANT ALL ON <database>.* TO '<user>'@'%' IDENTIFIED BY '<password>';

3. 初始化

 

/usr/share/cmf/schema/scm_prepare_database.sh [options] <databaseType> <databaseName> <databaseUser> <password>

  （2）cloudera-scm-server 启动后挂掉
     查看日志    
    # vim /var/log/cloudera-scm-server/cloudera-scm-server.log
ERROR main:com.cloudera.server.cmf.bootstrap.EntityManagerFactoryBean: Tables have unsupported engine type [MyISAM]. InnoDB is required.
     数据库要求INNODB
   解决：
   # vim /etc/my.cnf
    [mysqld]
    default-storage-engine=INNODB
   重启服务
    #/etc/init.d/mysld restart
   重置数据库
    #/usr/share/cmf/schema/scm_prepare_database.sh mysql -h localhost -uroot -p'123456' --scm-host localhost scm scm scm
    #用Cloudera Manager重新建集群 

安装 oozie

我安装时，遇到的最大的坑，就是mysql数据库驱动包的问题，将驱动包拷贝到安装oozie服务的机器上的/var/lib/oozie 目录下，即可！