离线安装Cloudera Manager 5和CDH5(最新版5.12.1) 完全教程

本文提供了离线安装Cloudera Manager 5.12.1和CDH5的详细步骤,包括系统环境设置、Java、MySQL的安装、防火墙与SELinux的关闭、NTP服务配置,以及Cloudera Manager Server和Agent的安装。文章强调了离线安装的优势和关键注意事项,如Oracle Java的路径选择和数据库的配置。
摘要由CSDN通过智能技术生成

关于CDH和Cloudera Manager

CDH (Cloudera's Distribution, including Apache Hadoop),是Hadoop众多分支中的一种,由Cloudera维护,基于稳定版本的Apache Hadoop构建,并集成了很多补丁,可直接用于生产环境。

Cloudera Manager则是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和监控管理的组件,对集群中主机、Hadoop、Hive、Spark等服务的安装配置管理做了极大简化。

系统环境

  • 实验环境:Mac下VMware虚拟机
  • 操作系统:CentOS 6.5 x64 (至少内存2G以上,这里内存不够的同学建议还是整几台真机配置比较好,将CDH的所有组件全部安装会占用很多内存,我已开始设置的虚拟机内存是1G,安装过程中直接卡死了)
  • Cloudera Manager:5.12.1
  • CDH: 5.12.1

安装说明

官方参考文档:
https://www.cloudera.com/documentation/enterprise/latest/topics/installation.html

官方共给出了3中安装方式:第一种方法必须要求所有机器都能连网,由于最近各种国外的网站被墙的厉害,我尝试了几次各种超时错误,巨耽误时间不说,一旦失败,重装非常痛苦。第二种方法下载很多包。第三种方法对系统侵入性最小,最大优点可实现全离线安装,而且重装什么的都非常方便。后期的集群统一包升级也非常好。这也是我之所以选择离线安装的原因。

相关包的下载地址

Cloudera Manager下载地址:
http://archive.cloudera.com/cm5/cm/5/cloudera-manager-el6-cm5.12.1_x86_64.tar.gz


下载信息:
https://www.cloudera.com/downloads/manager/5-12-1.html

CDH安装包地址:http://archive.cloudera.com/cdh5/parcels/latest/,由于我们的操作系统为CentOS6.5,需要下载以下文件:

  • CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel
  • CDH-5.12.1-1.cdh5.12.1.p0.3-el6.pacel.sha1
  • manifest.json

注意:与CDH4的不同,原来安装CDH4的时候还需要下载IMPALA、Cloudera Search(SOLR),CDH5中将他们包含在一起了,所以只需要下载一个CDH5的包就可以了。

准备工作:系统环境搭建

以下操作均用root用户操作。

1. 网络配置(所有节点)

vi /etc/sysconfig/network修改hostname:

NETWORKING=yes
HOSTNAME=n1

通过service network restart重启网络服务生效。

vi /etc/hosts,修改ip与主机名的对应关系

192.168.1.200   n1
192.168.1.201   n2
192.168.1.202   n3

注意:这里需要将每台机器的ip及主机名对应关系都写进去,本机的也要写进去,否则启动Agent的时候会提示hostname解析错误。

2.打通SSH,设置ssh无密码登陆(所有节点)

在主节点上执行ssh-keygen -t rsa一路回车,生成无密码的密钥对。

将公钥添加到认证文件中:cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys,并设置authorized_keys的访问权限:chmod 600 ~/.ssh/authorized_keys

scp文件到所有datenode节点:


  • 0
    点赞
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值