cdh5.10安装——入门教程

cdh5.10安装——入门教程

首先介绍一下cdh是什么。cdh是用来集中管理hadoop集群的工具。它在hadoop上进行了封装，提供了webUI界面对集群的状态进行监控和操作。

 

下面介绍一下cdh安装时都需要安装什么。

1、cloudera-manager提供管理集群的功能。

2、安装好cloudera-manager之后，可以通过图形界面安装parcel，然后再安装hadoop等。

 

好，下面上货：

1、设置hosts文件（三台机器上）：

192.168.0.81    cdh1 
192.168.0.82    cdh2     
192.168.0.83    cdh3 

 

2、关闭防火墙

使用set，关闭防火墙（三台机器）。

 

3、关闭selinux 

vim /etc/selinux/config

SELINUX=disabled

 

4、设置开机模式为3

vim /etc/inittab

 

5、查看是否关闭了selinux

getenforce

 

6、设置ssh免密码登录

ssh-kengen -t rsa

ssh-copy-id root@cdh1

 

7、查看ntp服务器是否同步

ntpq -p

 

8、参考B类的安装说明：https://www.cloudera.com/documentation/manager/5-1-x/Cloudera-Manager-Installation-Guide/cm5ig_install_path_B.html


9、下载需要的rpm包
http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.10/RPMS/x86_64/

http://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.10/RPMS/x86_64/


11、安装java1.7

yum localinstall jdk-***

 

12、安装mysql（参考：https://blog.csdn.net/wild46cat/article/details/78957410）
yum install mysql-server
==============================
安装配置MySql（主节点）

通过 yum install MySQL-server 安装mysql服务器。
chkconfig mysqld on 设置开机启动(或者setup也行)，
并 service mysqld start 启动mysql服务，
并根据提示设置root的初试密码： mysqladmin -u root password '123456' 。 

mysql -uroot -p123456 进入mysql命令行，创建以下数据库： 

#cmf

create database cmf DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
#hive
create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
#activity monitor
create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
设置root授权访问以上所有的数据库：


#授权root用户在主节点拥有所有数据库的访问权限
grant all privileges on *.* to 'root'@'%' identified by '123456' with grant option;
flush privileges;
==============================

 

13、安装server端的rpm包。

13.1安装oracle-j2sdk-1.7
yum localinstall oracle-j2sk-1.7

13.2安装cloudera manager Server Package
sudo yum --nogpgcheck localinstall cloudera-manager-daemons-*.rpm
sudo yum --nogpgcheck localinstall cloudera-manager-server-*.rpm

13.3修改/etc/cloudera-scm-server/db.properties文件

# Copyright (c) 2012 Cloudera, Inc. All rights reserved.
#
# This file describes the database connection.
#

# The database type
# Currently 'mysql', 'postgresql' and 'oracle' are valid databases.
com.cloudera.cmf.db.type=mysql

# The database host
# If a non standard port is needed, use 'hostname:port
com.cloudera.cmf.db.host=192.168.0.81:3306

# The database name
com.cloudera.cmf.db.name=cmf

# The database user
com.cloudera.cmf.db.user=root

# The database user's password
com.cloudera.cmf.db.password=123456

# The db setup type
# By default, it is set to INIT
# If scm-server uses Embedded DB then it is set to EMBEDDED
# If scm-server uses External DB then it is set to EXTERNAL
com.cloudera.cmf.db.setupType=EXTERNAL

 

 

13.4安装客户端代理(这个需要在你需要配置集群的机器上安装，这里我选择每台机器都安装)
sudo yum --nogpgcheck localinstall cloudera-manager-agent-package.*.x86_64.rpm cloudera-manager-daemons

13.5修改/etc/cloudera-scm-agent/config.ini
主要修改的是server的ip。设置为本次管理端的ip。

13.6复制mysql的connector的jar包到文件夹下
/usr/share/cmf/lib/

 

14、启动的时候使用命令
service cloudera-scm-server start

15、tail /var/log/cloudera-scm-server/cloudera-scm-server.log
读取这个文件的最后，当初始化完成后，会出现如下内容：

====================
2017-03-14 23:26:48,103 INFO WebServerImpl:com.cloudera.server.cmf.WebServerImpl: Started Jetty server.
2017-03-14 23:26:54,332 INFO SearchRepositoryManager-0:com.cloudera.server.web.cmf.search.components.SearchRepositoryManager: Finished constructing repo:2017-03-14T15:26:54.332Z
====================

 

 

16、能够正常运行后，可以考虑换用mysql作为元数据的存储。修改文件

/etc/cloudera-scm-server/db.mtgt.properties  /etc/cloudera-scm-server/db.properties

 

后记：

记得一定把内置的数据库修改成mysql的，不然不能在生产环境中使用。

如果启动服务后出现错误，一般可能是mysq错误，这个时候可以查找一下mysql的错误是因为什么。比较一般的错误是权限错误。

 

常见问题，比较常见的问题。

首先是没有msyql的jar包，这个jar包的位置放在

[JDBC]

cloudera_mysql_connector_jar=/usr/share/java/mysql-connector-java.jar

 

这个配置在/etc/cloudera-scm-agent/config.ini中。把原来前面的注释放开，然后把jar包放在这个路径下。注意是每台主机都需要放置。

 

最后，贴一张图：