CDH-6.2.0-1 大数据集群安装

CDH大数据集群搭建(centos)

搭建流程

1.选购服务器

2.服务器配置

3.安装CDH

4.集群设置

 

设置hosts(后续操作均以root用户执行)

1.确定各节点hostname 正确设置：

   vi /etc/hostname

2.设置hosts：

 vi /etc/hosts:

192.168.x.x     master

192.168.x.x1   slave1

192.168.x.x2   slave2

 

关闭SELinux及防火墙

1.关闭SELinux:  

    vi /etc/selinux/config ，修改如下：

   SELINUX=disabled

2. 关闭防火墙：

    systemctl stop firewalld

    systemctl disable firewalld

 

设置ssh免密登录

 

需要的安装包

parcel大数据组件可以在安装好C后，创建cluster时进行在线下载，但是下载时间不易控制，因此我使用离线上传

安装jdk&CM进

1. 验证repo文件是否起效

yum list | grep cloudera
#如果列出的不是待安装的版本，执行下面命令重试
yum clean all
yum list | grep cloudera

2. 切换到jdk&cm目录下，执行

yum -y install *.rpm

3. 设置java路径：

vi /etc/profile

# 在该文件末尾添加以下行

export JAVA_HOME=/usr/java/jdk1.8.0_181-cloudera/

export PATH=$JAVA_HOME/bin:$PATH

4. 检查安装：

java -version

 

安装数据库(mysql) -1

   需要用到数据库的组件：

• Cloudera Manager Server

• Cloudera Management Service roles:

• Activity Monitor

• Reports Manager

• Cloudera Navigator Audit Server

• Cloudera Navigator Metadata Server

• Hue

• Each Hive metastore

• Oozie

• 参考：https://docs.cloudera.com/documentation/enterprise/6/6.2/topics/cm_ig_mysql.html#cmig_topic_5_5

 

 

 安装数据库(mysql) - 2

    1. 安装mysql数据库服务器(master)

wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm

rpm -ivh mysql-community-release-el7-5.noarch.rpm

yum update

yum -y install mysql-server

   2. 数据库设置：

修改配置：vi /etc/my.cnf，添加：

  transaction-isolation=READ-COMMITTED

设置自动启动：systemctl enable mysqld

启动服务：systemctl start mysqld

设置启动密码：sudo /usr/bin/mysql_secure_installation

    3. 安装JDBC驱动（所有节点）：

mkdir -p /usr/share/java/

cp mysql-connector-java.jar /usr/share/java/mysql-connector-java.jar

 

 安装数据库(mysql) - 3

       根据下表组件中的信息运行如下语句为组件创建用户(可以直接运行：mysql_init.sql )：

CREATE DATABASE <database> DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

GRANT ALL ON <database>.* TO '<user>'@'%' IDENTIFIED BY '<password>’;

制方式打包在一个文件中l：所有大数据组件，以二进制方式打包在一个文件中

安装数据库(mysql) - 4

      运行如下脚本配置scm server数据库：sudo /opt/cloudera/cm/schema/scm_prepare_database.sh mysql scm scm

 

安装CDH（只在master节点）

   1.启动scm server：

sudo systemctl start cloudera-scm-server

  2. 查看日志，检查是否启动完成：

sudo tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log

--查看到【WebServerImpl:com.cloudera.server.cmf.WebServerImpl: Started Jetty server.】日志表示启动完成

 

  3. 登录主页(账号/密码：admin/admin)：

http://master:7180

4. 初始化CDH，建立Cluster 

     

CDH启动与关闭

    CM Portal 地址：

http://master:7180/cmf/home

   关闭步骤：

          1.在CM portal上关闭 cluster

          2.在所有节点关闭CM agent： sudo systemctl stop cloudera-scm-agent

          3.在master节点关闭CM server： sudo systemctl stop cloudera-scm-server

   启动步骤：

          1.在所有节点启动CM agent： sudo systemctl start cloudera-scm-agent

          2.在master节点启动CM server： sudo systemctl start cloudera-scm-server

          3.在CM portal上启动 cluster

  查看启动日志：

        /var/log/cloudera-scm-server/cloudera-scm-server.log