redhat6.5 本地安装CDH 5.2

原创 2015年11月18日 09:50:43

终于拿到了3台性能还不错的服务器,可以尝试搭建一下Cloudera的hadoop平台CDH了。在此mark一下,记录安装细节。

Step.1 安装pdsh(可选)
pdsh的作用是在多台机器上同时执行shell命令。步骤参考之前的blog: http://blog.csdn.net/strangerzz/article/details/49864089
这步不做也可以,不过有了pdsh,集群管理起来确实会更加方便

Step.2 设置SSH免密码登陆(可选)
设置了SSH面密码登陆配合pdsh进行集群管理,步骤参考之前的blog:
http://blog.csdn.net/strangerzz/article/details/49864441
不同于Ambari或者手工部署Hadoop,部署CDH的时候登录设置有设置SSH免密码登陆并上传私钥文件,或者给集群的root账户设置同意的登陆密码两种方式,所以这步不做也可以。

Step.3 安装MySQL(可选)
安装步骤参考http://blog.csdn.net/strangerzz/article/details/49884613
CDH安装的时候本身提供了内嵌的数据库,所以外置的MySQL或者ORACLE不装也没关系。另外虽然CDH安装文档上没有写支持mysql5.7,但是部署后还没发现啥问题。

Step.4 设置Cloudera Manager、CDH本地源
本地yum源做起来也很简单。把Cloudera Manager的RPM包下载下来,用createrepo命令生成一个本地源,然后用nfs或者Apache httpd开一个端口共享出去就可以了。CDH则使用了Cloudera推荐的parcel包。

Step.5 配置hostname和/etc/hosts
集群所有机器的hostname和/etc/hosts文件一定要配置好,否则安装的时候会出现agent起不来、agent起来后找不到server等问题。
/etc/hosts配置的方式参考安装文档例子:

127.0.0.1 localhost.localdomain localhost
192.168.1.1 cluster-01.example.com cluster-01
192.168.1.2 cluster-02.example.com cluster-02
192.168.1.3 cluster-03.example.com cluster-03

这里要注意几点
1. hostname中不能有下划线”_”,否则agent启动不起来
2. /etc/hosts文件中不能出现重复的ip
3. 127.0.0.1只能配置为localhost,不能配置为本机的hostname
4. 本机的hostname也要配置到/etc/hosts中,而且不能为127.0.0.1

Step.6 设置集群的时间同步
使用ntpd来进行时间同步,设置方法参考之前的blog:
http://blog.csdn.net/strangerzz/article/details/45243981

Step.7 安装cloudera manager server
整个安装过程参考cloudera的安装文档即可。如果要用cloudera内置的数据库,那么需要先安装cloudera-manager-server-db这个包.

yum install cloudera-server-db-2

否则的话,直接使用

yum install cloudera-manager-server

安装就可以了。这里我使用的是MySQL作为外置数据库,所以直接安装了server。

Step.8 (条件可选)配置MySQL数据库
首先配置clouder manager要用的数据库和用户。
在MySQL中执行

create database cmanager character set utf8;
grant all privileges on cmanager.* to 'userc'@'hostname' identified by 'xxxxx';

这一步首先在MySQL中建立了一个名字叫cmanager的数据库,然后建立了一个用户名为userc,密码为xxxxx的用户,并把cmanager这个数据库的权限全部分配给他。
然后在shell 里执行

/usr/share/cmf/schema/scm_prepare_database.sh mysql cmanager user xxxxx

为cloudera manager配置数据库接口并初始化。

Step.9 启动cloudera-manager-server并开始部署cm、CDH
经过以上的准备工作,就可以启动cloudera-manager-server服务了:

service clouder-scm-server start

然后在安装cm-server的主机的7180端口,就可以访问clouder-manager的web UI了。
之后的安装过程和安装一般软件差不多,跟着提示一步一步走就可以了。
根据安装的组件不同,可能也需要设置hive的metastore数据库、activity monitor数据库等,参考Step.8 就可以了,只是不用执行scm_prepare_database.sh这个脚本了。

Finally:遇到的问题
1. Agent启动失败、或者Agent启动后检测不到心跳
解决方案:参考Step.5,检查/etc/hosts和hostname设置是否正确
2. 安装出问题retry的时候一直停留在acquiring lock这个阶段
解决方案:删除要retry的机器上的/etc/.scm*.lock并重试
3. 安装中途出问题,修改/etc/hosts或者重新search主机后,安装阶段依然按照重做前的主机列表以及配置进行安装
解决方案:重启clouder-manager-server服务
4. Hbase启动失败
解决方案:检查集群的时间是否同步,检查ntp状态

Cloudera_Manager & CDH5_Redhat_安装部署手册

  • 2016年01月05日 10:36
  • 1.32MB
  • 下载

redhat离线安装cdh

CDH安装环境配置 1、  网络、hostname、hosts、防火墙、selinux、ntp等配置 # vi /etc/sysconfig/network-scripts/ifcfg-eth0 ...
  • qq_28051649
  • qq_28051649
  • 2016年06月13日 11:25
  • 1002

CDH5.7/5.8离线安装-使用CM5,基于CentOS 6.7

截至到2016年5月30日,在网上都没有找到离线安装CDH5.6的文章,最新的就是5.6,经过各种试验,总算装好了,记录如下。一、基础环境 1.操作系统:Centos6.5 Minimal版本 2...
  • fd_mas
  • fd_mas
  • 2016年06月01日 19:06
  • 4440

cdh5 hadoop redhat 本地仓库配置

cdh5 hadoop redhat 本地仓库配置cdh5 在网站上的站点位置:http://archive-primary.cloudera.com/cdh5/redhat/6/x86_64/cdh...
  • cheungmine
  • cheungmine
  • 2014年12月19日 14:45
  • 1727

redhat离线安装cdh

CDH安装环境配置 1、  网络、hostname、hosts、防火墙、selinux、ntp等配置 # vi /etc/sysconfig/network-scripts/ifcfg-eth0 ...
  • qq_28051649
  • qq_28051649
  • 2016年06月13日 11:25
  • 1002

CDH 5.8 离线安装

本文介绍在CentOS 6环境下离线安装CDH 5.8(两个节点)。主要步骤如下,1 安装前配置(1)配置host name,同步集群每个节点[root@cent-1 centos]# cat /et...
  • Post_Yuan
  • Post_Yuan
  • 2017年01月17日 14:53
  • 1173

CDH5.3.2安装详细文档以及相关问题处理

版本约定 操作系统版本centos6.5,64位 jdk1.6的版本也支持jdk1.7的版本 python版本为2.6或者2.7 集群版本cdh5.3.2 cloudera manager 5.3 ...
  • kissmelove01
  • kissmelove01
  • 2015年03月27日 18:01
  • 5266

CDH5.7快速离线安装教程

一、简介 CDH是cloudera公司开发的一个快速部署、高效管理Hadoop和其各种组件的一个商业化产品。主要分为两部分,分别为Cloudera Manager和CDH软件包。其中Clouder...
  • u010824591
  • u010824591
  • 2016年04月17日 20:06
  • 15898

在虚拟机中搭建CDH版本的大数据平台

研究生期间有幸接触到当前流行大数据,好在学校在硬件上还比较给力,我有一台光硬盘就48T的服务器。于是在服务器上搭建了CDH版本的大数据平台。闲话少说,此教程针对大数据平台搭建的研究,并有一定的Linu...
  • syw412327
  • syw412327
  • 2016年04月21日 18:26
  • 1326

CDH5实践(一)本地Yum软件源安装Cloudera Manager 5

以下内容转自博文:http://blog.csdn.net/yangzhaohui168/article/details/30118175 Cloudera Manager 5(以下简称CM)...
  • csolo
  • csolo
  • 2016年09月11日 21:12
  • 3097
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:redhat6.5 本地安装CDH 5.2
举报原因:
原因补充:

(最多只允许输入30个字)