使用CM安装部署CDH集群的一个总结

最新推荐文章于 2024-08-28 19:52:44 发布

Axel_Fr

最新推荐文章于 2024-08-28 19:52:44 发布

阅读量666

点赞数

文章标签：数据库 linux mysql hadoop cloudera

本文链接：https://blog.csdn.net/axel_fran/article/details/114373529

版权

卸载 cdh

systemctl stop cloudera-scm-server
systemctl stop cloudera-scm-agent
yum -y remove 'cloudera-manager-*'
yum -y remove 'cloudera-manager-*'
yum clean allumount cm_processesumount /var/run/cloudera-scm-agent/process
rm -rf /usr/share/cmf /var/lib/cloudera* /var/cache/yum/cloudera* /var/log/cloudera* /var/run/cloudera*
rm -rf /tmp/.scmpreparenode.lock
rm -rf /var/lib/flume-ng /var/lib/hadoop* /var/lib/hue /var/lib/navigator /var/lib/oozie /var/lib/solr /var/lib/sqoop* /var/lib/zookeeper
rm -rf datadrivepath/dfs datadrivepath/mapred datadrivepath/yarn
rm -rf /var/lib/hadoop-* /var/lib/impala /var/lib/solr /var/lib/zookeeper /var/lib/hue /var/lib/oozie /var/lib/pgsql /var/lib/sqoop /data/dfs/ /data/impala/ /data/yarn/ /dfs/ /impala/ /yarn/ /var/run/hadoop-*/ /var/run/hdfs-*/ /usr/bin/hadoop* /usr/bin/zookeeper* /usr/bin/hbase* /usr/bin/hive* /usr/bin/hdfs /usr/bin/mapred /usr/bin/yarn /usr/bin/sqoop* /usr/bin/oozie /etc/hadoop* /etc/zookeeper* /etc/hive* /etc/hue /etc/impala /etc/sqoop* /etc/oozie /etc/hbase* /etc/hcatalog

首先

两个实现CM的安装包概念： cloudera -scm-server, 与 cloudera -scm-agent;

cloudera -scm-server决定了web部署页面

在页面中，选中主机，一步一步下去，自动安装cloudera -scm-agent

CDH 是Hadoop的一个版本。又是一个集群，意味着要使用多台机器 centos 7（以下使用的linux版本)

Hadoop 以前接触的是每台机器上都要单独安装jdk, hadoop，然后修改每个配置文件等等，namenode 格式化等达到集群的目的。

那么 CDH 的话, 引入了一个 CM (cloudera manager) 好比一个图形界面，极大的简化集群的搭建，不再需要手动修改core-xml等配置文件了，也千万不能手动修改

只需要，确定好一个机器为（CM）并在CM上先安装了 mysql +jdk，并且配置好与其他机器的ssh免密。

那么打开这个CM的图形化界面，自动搜索到其他机器，然后一个按钮，勾选的方式，统一安装 hdfs,hive等等组件，并且配置谁为datanode，谁为namenode 等等

jdk, hdfs,hive，等等组件的安装包一般被放在了一起parcel，放在一个服务器上保证集群内装的软件一致。有了它，才可以在创建集群时，安装时提供一个软件列表（也就是这个parcel包含的东西）供我们自己选择下载。

开始第一步修改所有节点

以下设置如无声明，即默认每个节点都需要进行的配置

关闭防火墙

可百度其他方法，firewalld 等命令

[root@master ~]# chkconfig iptables off

修改Host

方便互相访问

其中，系统Hostname、网络Host配置、应完全对应，所有节点的Hosts文件中节点相关的信息应完全相等

# 查看Hostname

[root@master ~]# uname -a

Linux master 3.10.0-862.9.1.el7.x86_64 #1 SMP Mon Jul 16 16:29:36 UTC 2018 x86_64 x86_64 x86_64 GNU/Linux

[root@master ~]# hostname

master

# 修改Hostname可以直接修改/etc/hostname文件，但建议使用如下专有命令修改

[root@master ~]# hostnamectl set-hostname NEW-HOSTNAME

修改Hosts信息

[root@master ~]# vim /etc/hosts

[root@master ~]# cat /etc/hosts

127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4

::1 localhost localhost.localdomain localhost6 localhost6.localdomain6

# CHD-Node

10.20.202.85 cdhmgtuat01v.gafc.com

10.20.202.86 cdhmgtuat02v.gafc.com

10.20.202.87 cdhnoduat01v.gafc.com

10.20.202.88 cdhnoduat02v.gafc.com

10.20.202.89 cdhnoduat03v.gafc.com

10.20.202.90 cdhdbmuat01v.gafc.com

修改Host直接编辑/etc/hosts文件即可。建议在一个节点编辑好后使用scp命令传送到各个节点，保证配置的一致性。

注意：/etc/hosts只配置长域名，配置多个域名会导致在CM控制节点的时候无法连接，HOSTNAME使用短域名并与长域名对应即可

建议为本地Win也配置该Hosts

禁用IPV6(非必要)

HADOOP是个仅支持 IPv4 的组件，系统打开 IPv6 在部分情况下会出现网络堆栈错误，且CDH集群建设在内网，网络地址资源充裕。

> vim /etc/sysctl.conf

# 添加如下配置

net.ipv6.conf.all.disable_ipv6 = 1

# 使配置生效

> sysctl -p /etc/sysctl.conf

# 检查 IPv6 地址是否还存在

> ip addr

关闭防火墙及系统安全

CDH需要的用到的端口较多，要在群集中的每个主机上禁用防火墙

# 备份当前防火墙配置

> iptables-save > ~/firewall.rules

# 禁用防火墙

> systemctl disable firewalld

> systemctl stop firewalld

# 查看 SELinux 状态

> getenforce

Enforcing

# 立即关闭

> setenforce 0

为集群配置公钥私钥

我的另外一个文章 https://blog.csdn.net/Axel_Fran/article/details/114327495

添加yum 源

指向我们的那个有 cloudera-scm-server,agent, jdk 软件库；

开始第二步操作在cm主节点

1.

--安装 jdk ,配置profile文件，再source 一下。 jdk 安装结束

--下载这个 jdbc-mysql 的一个jar包, 取一个添加到 /usr/share/java/ 路径下

注意这个jdbc 也要传给其他机器，同样位置

2.1安装Cloudera Manager主节点(又名CM)服务程序，(其实就是将这台机器变成了 CM)

安装Cloudera Manager Server 三个包

[root@h1 cloudera-scm-server]# yum search cloudera

=========================== N/S matched: cloudera ============================
cloudera-manager-agent.x86_64 : The Cloudera Manager Agent
cloudera-manager-server.x86_64 : The Cloudera Manager Server
cloudera-manager-server-db-2.x86_64 : Embedded database for the Cloudera
: Manager Server
cloudera-manager-daemons.x86_64 : Provides daemons for monitoring Hadoop and
: related tools.

yum install (以上三个)

顺序 cloudera-manager-server.x86_64 第一，cloudera-manager-server-db-2.x86_64 第二

到这就够了。虽然命令行安装两个，实则3个。agent 那个暂时不需要，等待server 装好以后再说。

2.2 安装mysql 5.7

https://blog.csdn.net/Axel_Fran/article/details/111413462?spm=1001.2014.3001.5501

直到修改完root密码。退出

修改my.cnf。复制下面内容，复制到他的位置，覆盖

如下是官方配置文件示例

[mysqld]

datadir=/var/lib/mysql

socket=/var/lib/mysql/mysql.sock

transaction-isolation = READ-COMMITTED

# Disabling symbolic-links is recommended to prevent assorted security risks;

# to do so, uncomment this line:

symbolic-links = 0

key_buffer_size = 32M

max_allowed_packet = 32M

thread_stack = 256K

thread_cache_size = 64

query_cache_limit = 8M

query_cache_size = 64M

query_cache_type = 1

max_connections = 550

#expire_logs_days = 10

#max_binlog_size = 100M

#log_bin should be on a disk with enough free space.

#Replace '/var/lib/mysql/mysql_binary_log' with an appropriate path for your

#system and chown the specified folder to the mysql user.

log_bin=/var/lib/mysql/mysql_binary_log

#In later versions of MySQL, if you enable the binary log and do not set

#a server_id, MySQL will not start. The server_id must be unique within

#the replicating group.

server_id=1

binlog_format = mixed

read_buffer_size = 2M

read_rnd_buffer_size = 16M

sort_buffer_size = 8M

join_buffer_size = 8M

# InnoDB settings

innodb_file_per_table = 1

innodb_flush_log_at_trx_commit = 2

innodb_log_buffer_size = 64M

innodb_buffer_pool_size = 4G

innodb_thread_concurrency = 8

innodb_flush_method = O_DIRECT

innodb_log_file_size = 512M

[mysqld_safe]

log-error=/var/log/mysqld.log

pid-file=/var/run/mysqld/mysqld.pid

sql_mode=STRICT_ALL_TABLES

将数据库添加到启动项，并启动数据库

> systemctl enable mysqld

> systemctl start mysqld

添加JDBC

下载 JDBC 并放入指定目录

> wget https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.46.tar.gz

> tar -zxvf mysql-connector-java-5.1.46.tar.gz

> mkdir -p /usr/share/java/

> mv mysql-connector-java-5.1.47/mysql-connector-java-5.1.47-bin.jar /usr/share/java/mysql-connector-java.jar

数据库建表

使用拥有创建数据库和授权权限的账户登录数据库，执行如下SQL语句建库赋权

另外下面的密码只有三位， mysql 有规则。

mysql> show variables like '%validate_p%';

set注意 set global validate_password_number_count=0，就基本可以支持三位字母的了。

create database scm default character set utf8;\

CREATE USER 'scm'@'%' IDENTIFIED BY 'scm';\

GRANT ALL PRIVILEGES ON scm. * TO 'scm'@'%';\

FLUSH PRIVILEGES;\

create database amon default character set utf8;\

CREATE USER 'amon'@'%' IDENTIFIED BY 'amon';\

GRANT ALL PRIVILEGES ON amon. * TO 'amon'@'%';\

FLUSH PRIVILEGES;\

create database rman default character set utf8;\

CREATE USER 'rman'@'%' IDENTIFIED BY 'rman';\

GRANT ALL PRIVILEGES ON rman. * TO 'rman'@'%';\

FLUSH PRIVILEGES;\

create database hue default character set utf8;\

CREATE USER 'hue'@'%' IDENTIFIED BY 'hue';\

GRANT ALL PRIVILEGES ON hue. * TO 'hue'@'%';\

FLUSH PRIVILEGES;\

create database metastore default character set utf8;\

CREATE USER 'hive'@'%' IDENTIFIED BY 'hive';\

GRANT ALL PRIVILEGES ON metastore. * TO 'hive'@'%';\

FLUSH PRIVILEGES;\

create database sentry default character set utf8;\

CREATE USER 'sentry'@'%' IDENTIFIED BY 'sentry';\

GRANT ALL PRIVILEGES ON sentry. * TO 'sentry'@'%';\

FLUSH PRIVILEGES;\

create database nav default character set utf8;\

CREATE USER 'nav'@'%' IDENTIFIED BY 'nav';\

GRANT ALL PRIVILEGES ON nav. * TO 'nav'@'%';\

FLUSH PRIVILEGES;\

create database navms default character set utf8;\

CREATE USER 'navms'@'%' IDENTIFIED BY 'navms';\

GRANT ALL PRIVILEGES ON navms. * TO 'navms'@'%';\

FLUSH PRIVILEGES;\

create database oozie default character set utf8;\

CREATE USER 'oozie'@'%' IDENTIFIED BY 'oozie';\

GRANT ALL PRIVILEGES ON oozie. * TO 'oozie'@'%';\

FLUSH PRIVILEGES;\

在主节点server 绑定mysql

方式一，使用命令，会生成一个配置文件

/opt/cloudera/cm/schema/scm_prepare_database.sh -h localhost mysql scm scm scm #（dbname, dbuser, user_password）

不行就手敲一遍

显示成功

[ main] DbCommandExecutor INFO Successfully connected to database.
All done, your SCM database is configured correctly!

方式二直接修改配置文件

修改cloudera-scm-server db配置

>vim /etc/cloudera-scm-server/db.properties

修改如下：

# The database type

# Currently 'mysql', 'postgresql' and 'oracle' are valid databases.

com.cloudera.cmf.db.type=mysql

# The database host

# If a non standard port is needed, use 'hostname:port'

#com.cloudera.cmf.db.host=localhost

com.cloudera.cmf.db.host=10.20.202.90:3306

# The database name

#com.cloudera.cmf.db.name=cmf

com.cloudera.cmf.db.name=scm

# The database user

#com.cloudera.cmf.db.user=cmf

com.cloudera.cmf.db.user=scm

# The database user's password

#com.cloudera.cmf.db.password=

com.cloudera.cmf.db.password=scm

# The db setup type

# After fresh install it is set to INIT

# and will be changed post config.

# If scm-server uses Embedded DB then it is set to EMBEDDED

# If scm-server uses External DB then it is set to EXTERNAL

com.cloudera.cmf.db.setupType=EXTERNAL

启动服务

在CM节点依次启动主程序

> systemctl restart cloudera-scm-server

#查看运行日志
tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log

# 当日志出现如下信息，UI启动成功，可以登录后台管理界面要等一会

INFO WebServerImpl:com.cloudera.server.cmf.WebServerImpl: Started Jetty server.

CM管理整个CDH，不参与集群的具体任务。

到这CM 就安装好了，登录如下的网站，创建集群，为集群添加机器host(也就是cdh)。所以不要自己在准备好的机器去安装 agent

配置服务

上一步执行成功后，CM服务启动，通过web界面访问CM后台，默认端口号为7180

http://你的ip:7180/

默认账号 : admin

默认密码 : admin

第三测试结果

netstat -nltp

Proto Recv-Q Send-Q Local Address Foreign Address State PID/Program name
tcp 0 0 0.0.0.0:7180 0.0.0.0:* LISTEN 23999/java
tcp 0 0 0.0.0.0:7182 0.0.0.0:* LISTEN 23999/java

有7180 就对了

以后的安装CDH 出现问题

各种问题，想彻底全部卸载重来，千万不要忘记删除mysql里的那些database,

show databases;

drop database hue; 等。负责卸载了没用，集群的信息都保存在数据库了。