Cloudera Manager 5.3.2 和 CDH5.3.2 环境配置

转载 2016年08月29日 16:42:33

系统环境

  • 9台DELL R720xd服务器(192.168.3.245-253),1台R410master节点(192.168.3.243
  • 网卡:1000M
  • 9台DELL R720xd服务器各有12*4T磁盘
  • 网络环境内网
  • Centos6.6 x64 (Final)

 

1、准备工作卸载系统自带OPEN-JDK(所有节点)

安装好的Centos系统有时会自动安装OpenJdk,用命令Java -version查看:

java version "1.6.0"

OpenJDK Runtime Environment (build 1.6.0-b09)

OpenJDK 64-Bit Server VM (build 1.6.0-b09, mixed mode)

如有上述显示,说明系统里已经有OpenJdk,执行以下命令查看系统中有哪些OpenJdk相关包:

rpm -qa | grep java

其中有如下包必须卸载,

rpm -e --nodeps java-1.5.0-gcj-1.5.0.0-29.1.el6.x86_64

rpm -e --nodeps java-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.x86_64

rpm -e --nodeps java-1.6.0-openjdk-devel-1.6.0.0-1.66.1.13.0.el6.x86_64

这里我们初始环境已经是卸载了OpenJDK,安装了1.7版本的JDK

查看:

java -version

javac -version


2、修改主机名(所以节点)

我们初始环境已经将host文件配置好了,所有节点都要同步host文件,这步省略


 

3、打通SSH(所有节点)

目的是从master节点到所有的节点不需要输入密码即可登录

4、关闭防火墙(所有节点)

防火墙会引起Hadoop相关组件通讯的各种异常。

防火墙:

service iptables stop (临时关闭)

chkconfig iptables off (重启后生效)

SELINUX:

setenforce 0 (临时生效)

修改/etc/selinux/config 下的 SELINUX=disabled (重启后生效)。

 

5、安装NTP服务

启动NTP服务,开机自启动

service ntpd start

chkconfig ntpd on

6、安装Cloudera Manager

1. 创建一个本地目录,如/data/var/cloudera_manager ,下载相应的rpm包到本地,选择CM5.3.2,rpm包地址
http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.3.2/RPMS/x86_64/

下载全部的rpm包

2. 安装createrepo,创建yum源

1) yum -y install createrepo

2)进入到第一步下载的rpm包目录/data/var/cloudera_manager下运行 createrepo .(注意有一个点号)

3. 安装httpd,提供http服务

yum -y install httpd

4. 在/etc/www/http目录下建立一个软链接到/data/var/cloudera_manager

ln -s /data/var/cloudera_manager cloudera_manager
5. 启动httpd服务

/etc/init.d/httpd start,之后可以通过浏览器查看是否能够访问 http://192.168.3.243/cloudera_manager

6. 在/etc/yum.repo.d 下增加cloudera-manager.repo文件,内容如下

[cloudera-manager]

name=Cloudera Manager

baseurl=http://192.168.3.243/cloudera_manager

gpgcheck=0

7. 运行cloudera-manager-installer.bin,并在后边增加参数使其不再在/etc/yum.repo.d/下生成cloudera-manager.repo文件

./cloudera-manager-installer.bin --skip_repo_package=1

至此,按提示页面进行对应选择即可成功在内网服务器上安装ClouderaManager

安装好后,会提示一个URL,通过浏览器地址即可访问,用户密码都是admin

7、安装CDH5.3.2

下载http://archive.cloudera.com/cdh5/parcels/5.3.2/,选择相应的版本,我们是centos6.6,下载圈住的即可,放在/data/var/cloudera_manager目录下面


在安装cloudera_manager时候,需要配置选择yum源,需要改为自定义,地址填上边的baseurl:http://192.168.3.243/cloudera_manager,这样cm就会在添加的服务器上放置的yum.repo中的地址就是你内网服务器可访问的yum源,后续安装就不会有问题了。




如果在安装时选择了安装Hive,可能会遇到安装失败的问题,查看一下日志发现时安装Hive时需要安装JDBC驱动,所以同样我们将MySQL的驱动包拷贝到/opt/cloudera/parcels/CDH-5.3.2-1.cdh5.3.2.p0.47/lib/hive/lib/目录下,之后再继续安装就不会遇到问题了。



转载:http://blog.csdn.net/jdzms23/article/details/44495123

解析Cloudera Manager内部结构、功能包括配置文件、目录位置等

问题导读 1.CM的安装目录在什么位置? 2.hadoop配置文件在什么位置? 3.Cloudera manager运行所需要的信息存在什么位置? 4.CM结构和功能是什么? 1. 相关目录...
  • javastart
  • javastart
  • 2015年12月30日 09:44
  • 5270

hadoop生态系统学习之路(十二)cloudera manager的简单使用

最近,忙着辞职和考驾照的事,都没时间写博客了,差点把大数据相关的一些技术都给忘了。不过还好做好归纳整理,能够快速的恢复起来。其实,笔者发现,学习大数据还是有点小窍门的。首先,最好能有个人指引,有什么问...
  • qiyongkang520
  • qiyongkang520
  • 2016年05月05日 10:32
  • 6117

手工安装配置Cloudera组件-Hadoop

安装repo http://archive-primary.cloudera.com/cdh/ 存放着cdh1-3的所有文件 http://archive-primary.cloudera.co...
  • chen517611641
  • chen517611641
  • 2014年08月31日 10:12
  • 1497

cloudera manager5删除uuid,主机找不到集群

cloudera manager给开发人员节省了维护成本,但是一旦cm节点不能启动,将导致集群组件无法管理。 问题描述: 服务器重启后cm节点未能正常启动,在排查问题过程中误删除uuid文件。该文...
  • u013322404
  • u013322404
  • 2015年11月18日 16:35
  • 1461

ClouderaManager安装hive后执行sql时写hdfs无权限

ClouderaManager安装hive后用root用户启动执行sql报以下错误: Caused by: org.apache.hadoop.ipc.RemoteException(org.apac...
  • doegoo
  • doegoo
  • 2015年10月13日 15:34
  • 936

cloudera manager 添加开机启动

最近在使用Cloudera manager管理hadoop集群。为了方便自动化管理,需要添加开机自动启动。从网上搜了一下,在一个安装教程中找到了一个方法。这里我用的是 cloudera-manage...
  • BrotherDong90
  • BrotherDong90
  • 2015年05月05日 16:06
  • 3872

通过cloudera manager管理界面添加图表

通过cloudera manager管理界面添加图表
  • high2011
  • high2011
  • 2017年03月16日 17:41
  • 1942

通过Cloudera Manager修改机架

分布式的集群通常包含非常多的机器,由于受到机架槽位和交换机网口的限制,通常大型的分布式集群都会跨好几个机架,由多个机架上的机器共同组成一个分布式集群。机架内的机器之间的网络速度通常都会高于跨机架机器之...
  • ashic
  • ashic
  • 2015年07月26日 23:21
  • 1109

cloudera manager维护相关(系统日志相关)

今天登入上CM,发现报了很多警告,大致查看了一下,j
  • xiao_jun_0820
  • xiao_jun_0820
  • 2014年10月20日 21:46
  • 7236

Cloudera Manager、CDH零基础入门、线路指导

Cloudera Manager、CDH零基础入门、线路指导 2016-02-24 08:20 172人阅读 评论(0) 收藏 举报  分类: 大数据(10)  ...
  • javastart
  • javastart
  • 2016年08月12日 09:24
  • 1194
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Cloudera Manager 5.3.2 和 CDH5.3.2 环境配置
举报原因:
原因补充:

(最多只允许输入30个字)