CDH学习记录

最新推荐文章于 2021-04-26 15:32:40 发布

Richard123m

最新推荐文章于 2021-04-26 15:32:40 发布

阅读量1k

点赞数 1

分类专栏： Hadoop

本文链接：https://blog.csdn.net/c123m/article/details/84023775

版权

Hadoop 专栏收录该内容

6 篇文章 0 订阅

订阅专栏

1. 离线安装(parcel)

1.1 环境

1.2 下线离线包

1.2.1 下线Cloudera Manager

1.13.2 配置mysql-connector

1.13.3 初始化数据库

1.13.4 创建agent目录

1.13.5 修改config.ini文件

1.13.6 准备Parcels

1.13.7 复制到其它节点

1.13.8 创建cloudera-scm用户

1. 离线安装(parcel)

1.1 环境

环境系统：CentOS-6.4 64bit

CDH版本：CDH5.7.0

两个节点：cm节点、agent节点

1.2 下线离线包

1.2.1 下线Cloudera Manager

http://archive.cloudera.com/cm5/cm/5/

1.2.2 下载cdh包

http://archive.cloudera.com/cdh5/parcels

1.3 主机名及IP

1.3.1 cm

主机名

/etc/sysconfig/network

/etc/sysconfig/network-scripts/ifcfg-eth*

1.3.2 agent

主机名

/etc/sysconfig/network

/etc/sysconfig/network-scripts/ifcfg-eth*

1.3.3 验证

重启两个节点，主机名及IP如下所示，则设置成功。

1.4 设置/etc/hosts

修改两个节点的/etc/hosts如下所示：

1.5 禁用ipv6

cm、agent两个节点都要关闭。

1.5.1 查看ipv6状态

ifconfig

如果有ipv6地址，则表明开启了ipv6

lsmod

表明加载了ipv6模块

1.5.2 关闭ipv6

编辑/etc/modprobe.d/dist.conf，结尾添加如下内容，并重启：

alias net-pf-10 off

alias ipv6 off

1.5.3 验证

已无ipv6地址，lsmod也无ipv6模块。ipv6已成功关闭。

1.6 NTP

cm、agent节点都要安装。选择cm为ntp服务器端，agent为客户端。

1.6.1 安装ntp

yum install ntp

1.6.2 cm配置ntp服务

1.6.3 agent配置ntp服务

1.6.4 重启ntp服务

service ntpd restart

1.6.5 验证

cm端

agent端

1.7 关闭Seliux

cm节点、agent节点都需要关闭。

1.7.1 查看seliux状态

1.7.2 关闭seliux

编辑/etc/selinux/config，将SELINUX改为disabled。

重启，生效。

1.7.3 验证

1.8 关闭防火墙

1.8.1 查看防火墙状态

1.8.2 关闭防火墙

1.8.3 验证

1.9 ssh免密码登录

cm节点、agent节点都要安装。

1.9.1 安装openssh

1.9.2 单机免密

1.9.3 单机免验证

1.9.4 集群间免密

将agent节点/root/.ssh/id_rsa.pub传至cm节点下的/root/.ssh/authorized_keys中，然后，将合并后的authorized_keys传回至agent节点/root/.ssh下。传输文件可以用scp命令。

1.9.5 集群间验证

1.10 安装JDK

cm节点、agent节点都要安装。

1.10.1 jdk版本

jdk1.7_67，安装位置/usr/java/目录下,cdh规定位置。

1.10.2 配置环境变量

在/etc/profile文件中，添加：

在/etc/environment文件中，添加：

1.10.3 验证

重启主机，或source /etc/profile

1.11 安装mysql数据库

在一台Ubuntu Server的服务器安装mysql数据库。

sudo apt-get install mysql-server mysql-client mysql-common

1.11.1 配置/etc/hosts

1.11.2 创建各组件数据库

Reports Manager 数据库名为rman。

1.11.3 赋予cm节点权限

grant all privileges on *.* to 'root'@’cm.com’ identified by '123123' with grant option;
grant all privileges on *.* to 'root'@'%' identified by '123123' with grant option;
flush privileges;

1.11.4 修改配置文件

修改/etc/mysql/my.cnf，将bind-address改为0.0.0.0。并重启mysql。

service mysql restart

1.12 其他必要操作

cm节点、agent节点都要做。

1.12.1 设置swappiness

1.12.2 echo never

写入开机启动/etc/rc.d/rc.local

echo never > /sys/kernel/mm/transparent_hugepage/defrag

echo never > /sys/kernel/mm/transparent_hugepage/enabled

并赋予chmod +x rc.local

1.12.3 必要包

yum install psmisc krb5-devel cyrus-sasl-gssapi cyrus-sasl-devel
yum install libxml2-devel libxslt-devel mysql mysql-devel
yum install openldap-devel python-devel sqlite-devel
yum install python-setuptools gcc gcc-c++ make
easy_install simplejson

1.13 cm节点配置cm包

只在cm节点上操作。

1.13.1 解压

将cloudera-manager解压至/opt目录下，并将其属组、属主改为root:root

chown –R root:root /opt/*

1.13.2 配置mysql-connector

版本：mysql-connector-java-5.1.15.jar

将/opt/cm-5.7.0/share/cmf/common_jars /mysql-connectory.jar复制到/opt/cm-5.7.0/share/cmf/lib/、/usr/share/java/(该目录需要创建)目录下

1.13.3 初始化数据库

先重启cm节点，及数据库节点。

/opt/cm-5.7.0/share/cmf/schema/scm_prepare_database.sh mysql cm -hdb -uroot -p123123 --scm-host cm.com scm scm scm

参数分别是:数据库类型数据库名称 -h数据库主机名 -u数据库用户名 -p数据库密码--scm-host cmserver主机名 scm scm scm

1.13.4 创建agent目录

创建/opt/cm-5.7.0/run/cloudera-scm-agent目录。

1.13.5 修改config.ini文件

修改/opt/cm-5.7.0/etc/cloudera-scm-agent/config.ini文件中server_host。

1.13.6 准备Parcels

在cm节点，将以下三个包复制至/opt/cloudera/parcel-repo目录(需创建该目录)中，并将*.sha1文件重命名为*.sha,否则系统会重新下载*.sha文件。

1.13.7 复制到其它节点

将cm节点下的目录传至agent节点。

1.13.8 创建cloudera-scm用户

cm节点、agent节点都要创建。

useradd --system --home=/opt/cm-5.7.0/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

1.14 启动cdh

在cm节点通过/opt/cm-5.7.0/etc/init.d/cloudera-scm-server start启动server;
在全部节点（cm节点、agent节点）通过/opt/cm-5.7.0/etc/init.d/cloudera-scm-agent start启动agent。

1.15 页面安装

1.15.1 概述

页面打开http://192.168.50.100:7180 (主节点IP) admin/admin。按照内容装即可。

查看/opt/cm-5.7.0/log/cloudera-scm-server/cloudera-scm-server.log。出现红色方框中的内容，表现启动完毕，可以通过浏览器访问。大概需要5,6分钟。

1.15.2 安装步骤

1.16 hive安装

/opt/cloudera/parcels/CDH/lib/hive/lib目录下需要/opt/cm-5.11.0/share/cmf/common_jars/mysql-connector-java.jar包。

1.17 Oozie安装

/opt/cloudera/parcels/CDH/lib/oozie/libext目录下需要mysql-connector-java.jar包。