CDH5.10 ubuntu14.04部署文档--离线安装

原创 2017年03月15日 18:53:33

1. 说明


本次部署使用台机器,4台用于搭建CDH集群,1台为内部源。内部源机器是可以连接公网的,可以提前部署好内部源(内部源服务器是已经存在的ubuntu14.04服务器),4台CDH集群服务器是无法连接内外。本次部署涉及到的服务器的hosts配置如下:
192.168.0.230    cdh01
192.168.0.231    cdh02
192.168.0.232    cdh03
192.168.0.233    cdh04
192.168.0.237   inner-source

2. 搭建内部源


下载cloudera-manager相关包(5.10):
地址:https://archive.cloudera.com/cm5/ubuntu/trusty/amd64/cm/pool/contrib/e/enterprise/
下载包列表:
cloudera-manager-server_5.10.0-1.cm5100.p0.85~trusty-cm5_all.deb
cloudera-manager-daemons_5.10.0-1.cm5100.p0.85~trusty-cm5_all.deb
cloudera-manager-agent_5.10.0-1.cm5100.p0.85~trusty-cm5_amd64.deb
 
CDH 安装包parcel下载:
地址:http://archive.cloudera.com/cdh5/parcels/5.10.0/
下载包列表:
DH-5.10.0-1.cdh5.10.0.p0.41-trusty.parcel
CDH-5.10.0-1.cdh5.10.0.p0.41-trusty.parcel.sha1
manifest.json
 
下载oracle-j2sdk1.7包地址:
https://archive.cloudera.com/cm5/ubuntu/trusty/amd64/cm/pool/contrib/o/oracle-j2sdk1.7/
 
下载MySQL数据库包地址:
地址:https://dev.mysql.com/downloads/mysql/
下载包列表(下载后解压获取所有deb):
mysql-server_5.7.17-1ubuntu12.04_amd64.deb-bundle.tar
 
其他依赖包(使用内部源机器部署好内部源后, apt-get install安装cloudera-manager-daemons、cloudera-manager-server、cloudera-manager-agent完后获取/var/cache/apt/archives目录下的所有包,内部源实现的时候开始可以不用下载依赖包,安装cloudera相关包后更新下内部源,使其他不可以访问外网的机器可以在内部源上获取到依赖包):
lsb-base psmisc bash libsasl2-modules zlib1g libsqlite3-0 libfuse2 fuse rpcbind libxslt1.1 libsasl2-modules-gssapi-mit libmysql-java python-urllib3 等等
 
创建内部源(在内部源机器192.168.0.237上执行):
安装dpkg-dev:
$sudo apt-get install dpkg-dev -y
 
生成Packages.gz:
$sudo -i
$sudo mkdir /data/soft/pool
拷贝所有下载完deb包到 /data/soft/pool下面,然后执行如下命令
#cd /data
#dpkg-scanpackages soft/pool | gzip > soft/Packages.gz
更新了依赖包后需重新执行,生产新的Packages.gz
 
安装配置apache2:
$sudo apt-get install apache2
$sudo mkdir /data/soft/cloudera
拷贝所有的CDH parcel包和manifest.json到/data/soft/cloudera目录下
$cd /var/www/html
$ln -s /data
这时候使用浏览器访问http://inner-source/data/应该可以看到我们下载的包了,inner-source为内部源服务器的hostname,或者在hosts文件中配置的映射。
 

3. 安装CDH所有服务器环境


所有服务器安装ubuntu14.04.10版本系统,使ultraiso制作ubuntu14.04.10 U盘启动,不要使用ubuntu14.04.5这个镜像,安装过程会无法加载CD。所有服务器使用相同的root密码和相同的安装时配置的用户名密码。这里的所有操作均针对CDH所有服务器。
 
统一所有CDH服务器时区和时间:
$date -R   #查看时间和时区,所有时区为东八区,+0800
$sudo date -s 10:17:20    #修改为准确时间
 
配置所有服务器hosts如下:
192.168.0.230    cdh01
192.168.0.231    cdh02
192.168.0.232    cdh03
192.168.0.233    cdh04
192.168.0.237   inner-source、
 
配置所有CDH服务器apt源:
由于所有服务器均服务连接公网,部署CDH的过程中先注释掉官方源,添加内部源,安装完成后可以取消官方源的注释,否则更新源时导致长时间请求超时。执行如下命令
$sudo cp /etc/apt/sources.list /etc/apt/sources.list.bak
$sudo vim /etc/apt/sources.list.d/innersources.lis
在文件中添加如下行
deb http://inner-source/data soft/
$sudo apt-get update
$sudo vim /etc/apt/apt.conf
在新建文件中添加如下行,注意最后有分号:
APT::Get::AllowUnauthenticated 1 ;
 
配置root用户ssh远程登录,所有CDH服务器root密码一样:
$sudo passwd root
$sudo vi /etc/ssh/sshd_config
在文件中修改如下:
#PermitRootLogin without-password
PermitRootLogin yes
$sudo service ssh restart    #重启ssh服务
 
所有服务器上安装jdk:
$sudo apt-get install oracle-j2sdk1.7
配置JAVA_HOME:
$sudo vim /etc/profile       #在文件末尾添加如下内容
export JAVA_HOME=/usr/lib/jvm/java-7-oracle-cloudera
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=${JAVA_HOME}/lib:${JRE_HOME}/jre:${CLASSPATH}
export PATH=${JAVA_HOME}/bin:${PATH}
$source /etc/profile
 
所有服务器上安装dbc driver(使用mysql数据库):
$sudo apt-get install libmysql-java

4. 主节点安装cloudera manager


安装MySQL数据库(主节点):
$sudo apt-get install mysql-server
$sudo service mysql stop
$sudo mv /var/lib/mysql/ib_logfile* /tmp/  #迁移出ib_logfile文件
$sudo vim /etc/mysql/my.cnf   #修改配置文件,内容如下
 
[client]
port            = 3306
socket          = /var/run/mysqld/mysqld.sock
 
[mysqld_safe]
socket          = /var/run/mysqld/mysqld.sock
nice            = 0
 
[mysqld]
server-id=1
user            = mysql
pid-file        = /var/run/mysqld/mysqld.pid
socket          = /var/run/mysqld/mysqld.sock
port            = 3306
basedir         = /usr
datadir         = /var/lib/mysql
tmpdir          = /tmp
lc-messages-dir = /usr/share/mysql
skip-external-locking
log_error = /var/log/mysql/error.log
 
transaction-isolation = READ-COMMITTED
# Disabling symbolic-links is recommended to prevent assorted security risks;
# to do so, uncomment this line:
# symbolic-links = 0
 
key_buffer_size = 32M
max_allowed_packet = 32M
thread_stack = 256K
thread_cache_size = 64
query_cache_limit = 8M
query_cache_size = 64M
query_cache_type = 1
 
max_connections = 550
#expire_logs_days = 10
#max_binlog_size = 100M
 
#log_bin should be on a disk with enough free space. Replace '/var/lib/mysql/mysql_binary_log' with an appropriate path for your system
#and chown the specified folder to the mysql user.
log_bin=/var/lib/mysql/mysql_binary_log
 
# For MySQL version 5.1.8 or later. For older versions, reference MySQL documentation for configuration help.
binlog_format = mixed
 
read_buffer_size = 2M
read_rnd_buffer_size = 16M
sort_buffer_size = 8M
join_buffer_size = 8M
 
# InnoDB settings
innodb_file_per_table = 1
innodb_flush_log_at_trx_commit  = 2
innodb_log_buffer_size = 64M
innodb_buffer_pool_size = 4G
innodb_thread_concurrency = 8
innodb_flush_method = O_DIRECT
innodb_log_file_size = 512M 
sql_mode=STRICT_ALL_TABLES
 
$sudo service mysql start
使用root用户进入mysql,root密码在安装的过程中会设置,执行如下sql(密码可以根据需求修改):
create database cmf DEFAULT CHARACTER SET utf8;
grant all on cmf.* TO 'cmf'@'%' IDENTIFIED BY 'passwrod';
 
create database metastore DEFAULT CHARACTER SET utf8;
grant all on metastore.* TO 'hive'@'%' IDENTIFIED BY 'passwrod';
 
create database hue DEFAULT CHARACTER SET utf8;
grant all on hue.* TO 'hue'@'%' IDENTIFIED BY 'passwrod';
 
create database rman DEFAULT CHARACTER SET utf8;
grant all on rman.* TO 'rman'@'%' IDENTIFIED BY 'passwrod';
 
create database oozie DEFAULT CHARACTER SET utf8;
grant all on oozie.* TO 'oozie'@'%' IDENTIFIED BY 'passwrod';
 
flush privileges;
 
安装cloudera manager:
$sudo apt-get install cloudera-manager-daemons cloudera-manager-server
$sudo vim /etc/cloudera-scm-server/db.properties   #(修改数据库用户配置为上面设置的cmf数据库用户信息,下面信息开始为INIT,首次不改动,启动cloudera-scm-server后改为如下然后再重启cloudera-scm-server)
#com.cloudera.cmf.db.setupType=INIT
com.cloudera.cmf.db.setupType=EXTERNAL
启动cloudera-scm-server:
$sudo service cloudera-scm-server start
 

5. 使用cloudera manager安装CDH

 
访问cloudera manager管理地址,默认用户名密码为admin/admin,端口:7180,如:http://192.168.0.230:7180/,除如下步骤其他均和选择默认选项:
 
发现集群的时候可以直接输入各节点IP使用英文逗号隔开,发现后使用所有相同的root密码连接集群
 
在集群安装,选择存储界面"使用Parcel (建议) "后选择更多选项,远程Parcel 存储库URL添加如下地址(内部安装包地址,具体而定):
http://inner-source/data/soft/cloudera/
选择您要安装在主机上的 Cloudera Manager Agent 特定发行版。选择中,选择"自定义存储库", 输入内部源地址:data前面没有/是空格
deb http://inner-source data soft/
 
在集群搭建页面输入上面创建的数据库用户,并测试。
版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

Ubuntu14.04离线安装CDH5.6.0

CDH5.6.0 官方安装文档:http://www.cloudera.com/documentation/enterprise/5-6-x/topics/installation.html 相关包...

Ubuntu14 4 安装 Cloudera Manager5及CDH5(Mysql)

以三个节点为例,搭建cloudera集群。 总体思路是,现在master1上安装好cloudera,然后在cloudera manager上通过添加hosts的方式加入其他两个节点。 1./etc/h...

Ubuntu 14.04 安装 Cloudera Manager 5 And CDH 5 (在线安装)

基本准备

在线和离线安装Cloudera CDH 5.6.0

在线和离线安装Cloudera CDH 5.6.0 向集群添加节点

安装方式B--使用ClouderaManager的Parcels包进行安装

安装方式B–使用ClouderaManager的Parcels包进行安装安装方式B使用从ClouderaManager依赖库下载的包进行安装。安装JDK、Agents、CDH、Managed Serv...

离线安装Cloudera Manager 5和CDH5(最新版5.12.1) 完全教程

关于CDH和Cloudera Manager CDH (Cloudera's Distribution, including Apache Hadoop),是Hadoop众多分支中的一种,由Clou...
  • gtsina
  • gtsina
  • 2017年09月21日 10:27
  • 1056

安装ubuntu14.04.2集群环境下的cloudera5.4.7+CDH5

一,虚拟机 1,vsphere安装 在服务器上裸装vSphere6.0.0,在本机windows安装vSphere Client 2,ubuntu14.04单节点安装 在vSphere上新建1台虚...

Cloudera Manager 5和CDH5离线安装

CDH (Cloudera’s Distribution, including Apache Hadoop),是Hadoop众多分支中的一种,由Cloudera维护,基于稳定版本的Apache Had...
  • JDPlus
  • JDPlus
  • 2015年05月22日 19:46
  • 28725

CDH5.10.x安装

1.CDH (Cloudera’s Distribution, including Apache Hadoop),是Hadoop众多分支中的一种,由Cloudera维护,基于稳定版本的Apache H...

解析Cloudera Manager内部结构、功能包括配置文件、目录位置等

问题导读 1.CM的安装目录在什么位置? 2.hadoop配置文件在什么位置? 3.Cloudera manager运行所需要的信息存在什么位置? 4.CM结构和功能是什么? ...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:CDH5.10 ubuntu14.04部署文档--离线安装
举报原因:
原因补充:

(最多只允许输入30个字)