关闭

CDH5.7快速离线安装教程

标签: hadoop集群cdhcloudera
1245人阅读 评论(0) 收藏 举报
分类:

http://www.6gdown.com/softedupage/60099.html

一、简介

CDH是cloudera公司开发的一个快速部署、高效管理Hadoop和其各种组件的一个商业化产品。主要分为两部分,分别为Cloudera Manager和CDH软件包。其中Cloudera Manager负责集群的部署与管理。CDH软件包囊括了hdaoop各类的组件的安装包,例如hive、hdfs、spark等等。

由于实验室服务器集群实现了硬件虚拟化,要在虚拟资源重新搭建CDH集群。cloudera的搭建官方提供了三种安装方式。分别是在线安装、yum安装和离线安装,我首先是采用离线安装的方式,这种方式也是目前大部分博客教程所采用的方式。但是照着这种方式我每次到最后安装服务的时候总是在部署配置文件的时候出错,提示错误如图所示:

CDH5.7快速离线安装教程

猜测原因是权限问题,但是在网上寻找办法也一直没有解决。这里吐槽一下cloudera官方社区,没有几个人。因此舍弃到这种安装方式采用在线安装,但是在线安装需要耗费大量时间在软件包的下载上,不过我们可以手动下载安装,这样可以大大提高安装速度。

二、基础环境

软件环境

1.操作系统:Centos6.5
2.CDH软件包版本5.6、Cloudra Manager版本5.7
3.JDK版本oracle jdk1.7.0_67

硬件环境

9台虚拟机节点,硬件配置如下:

CDH5.7快速离线安装教程

三、基础配置

以下所有操作均在root下进行

1.host配置

1)修改主机名,vim /etc/sysconfig/network,各台主机honstname改名为对应的名称,service network restart重启网卡生效。

2)添加hostname与ip的对应关系如下图所示:

CDH5.7快速离线安装教程

3)将host从主节点master分发到各个从节点。:
scp /etc/hosts root@slave1:/etc

2.关闭防火墙和selinux

1)关闭防火墙(每个节点)
service iptables stop
chkconfig iptables off

2)关闭selinux(重启生效)
vim /etc/selinux/config

CDH5.7快速离线安装教程

3.ssh无密码登录

1)各个节点安装ssh
ssh-keygen -t rsa 一路回车结束

2)将公钥加入到authorized_keys(只需master操作)
cat id_rsa.pub >authorized_keys

3) 修改权限
chmod 600 authorized_keys

4)将authorized_keys从master分发到各个slave
scp authorize_keys root@slave1:~/.ssh/

4.jdk安装

1)卸载自带java
rpm -qa |grep java
yum remove java*(删除自带的java)

2)安装jdk(每个节点rpm安装)
rpm -ivh jdk1.7.0_67.rpm

3)配置java环境(每个节点配置,当然可以一个节点配置完了使用scp分发)
在/etc/profile中加入:
export JAVA_HOME=/usr/java/jdk1.7.0_67
export CLASSPATH=.:$CLASSPTAH:$JAVA_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin

4)使配置生效(每个节点)
source /etc/profile

5.ntp时间同步

1)安装NTP(每个节点)
yum install ntp

2)配置NTP
vim /etc/ntp.conf
master配置:(选用复旦大学ntp服务器)

CDH5.7快速离线安装教程

slave配置:(同步master)

CDH5.7快速离线安装教程

3)开启NTP服务
service ntpd start
chkconfig ntpd off

4)查看同步效果
命令:ntpstat

CDH5.7快速离线安装教程

四、Cloudera Manager安装

1.下载rpm安装包

rpm安装包下载地址:其中jdk如果自己安装好了可以不用下载。

http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.7/RPMS/x86_64/

包含软件:

CDH5.7快速离线安装教程

2.master节点安装

将下载好的rpm包放到一个文件夹中,任意命名,进入到这个文件夹手动安装:
yum localinstall --nogpgcheck *.rpm
使用yum安装会同时安装相关的依赖,非常方便
如果要卸载使用
yum --setopt=tsflags=noscripts remove xxxx

3.slave节点安装

slave中不需要安装server的包,只需要安装cloudera-manager-agent.rpm和cloudera-manager-daemons.rpm。先将两个rpm包拷贝到slave节点上,剩下安装方法和master一样。

4.安装cloduera manager二进制安装包

1)wget http://archive.cloudera.com/cm5/installer/latest/cloudera-manager-installer.bin

2)chmod u+x cloudera-manager-installer.bin

3)./cloudera-manager-installer.bin

4)根据安装向导一路next。注意,如果之前master上没有手动安装rpm包此时就会联网下载,下载速度一般都较慢,太费时间。

5)安装结束以后会提示登录7180端口。

五、CDH服务安装

1.制作本地parcel

1)下载CDH软件包,下载地址:

http://archive.cloudera.com/cdh5/parcels/5.6/

下载对应版本的CDH:下载图中标红的三个资源(el6代表centos6)

CDH5.7快速离线安装教程

之前完成CM安装之后master节点会在/opt目录下生成cloudera文件夹,将刚才下载的三个文件移动到parcel-repo文件夹中并将
CDH-5.6.0-1.cdh5.6.0.p0.45-el6.parcel.sha1更名为
CDH-5.6.0-1.cdh5.6.0.p0.45-el6.parcel.sha如不更名会在线重新下载。

2.配置软件

1)登录7180端口:http://master:7180

CDH5.7快速离线安装教程

初始用户名与密码均为admin

2)同意协议一路continue

CDH5.7快速离线安装教程

输入集群中各个主机名或者ip,可以用空格分隔,点击search,然后continue

3)选择parcel版本,由于我们下载的是CDH5.6,所以选择CDH5.6。这里可能没有CDH5.6的选项,这是由于我们是在cloudera-server开启之后才将CDH5.6的三个文件放入parcel-repo文件夹中,重启一下cloudera-scm-server就行了:

/etc/init.d/cloudera-scm-server restart

4)安装jdk,我们之前已经在每个节点都安装了jdk,所以这步可以跳过。

5)设置ssh登录,选择全部主机使用统一ssh密码,输入密码点击continue。

6)安装cloudera-manager-agent相关软件。由于我们之前在每个节点手动安装了相应的rpm包,所以这里很快就会完成。如果之前各个节点没有手动安装,这一步会在线下载rpm包,速度非常慢,并且如果错误还会中断。强烈建议不要使用在线下载。

大概十分钟左右安装完成(这里只有7个节点,第一次安装的时候我只安装了7个节点,剩下两个节点是后来添加到集群中的),然后继续Continue。

CDH5.7快速离线安装教程

7)主机检测:

CDH5.7快速离线安装教程

会提示错误,解决办法
echo 0 >/proc/sys/vm/swappiness(临时生效)
echo never >/sys/kernel/mm/redhat_transparent_hugepage/defrag(临时生效)

重启永久生效:
编辑vim /etc/sysctl.conf

CDH5.7快速离线安装教程

编辑vim /etc/rc.local

CDH5.7快速离线安装教程

8)安装parcel包
    接下来CM安装parcel包,图中提示host is in bad health,这个可以忽略,多等一会就会恢复正常。

CDH5.7快速离线安装教程

9)安装服务
如没有特殊需求可以默认

CDH5.7快速离线安装教程

10)一路continue完成安装

CDH5.7快速离线安装教程

至此CDH集群就搭建完成了,前前后后花费了两个周末的时间才完成,过程中遇到了数不完的坑。感觉目前大部分博客教程都是较早之前的,特别是对于离线安装的方法我重复安装了好几次都出现了同样的问题,最后还是在不断尝试中总结出了这个即方便又快速的安装方法,希望对大家有所帮助。

0
0
查看评论

CDH5.7快速离线安装教程

一、简介 CDH是cloudera公司开发的一个快速部署、高效管理Hadoop和其各种组件的一个商业化产品。主要分为两部分,分别为Cloudera Manager和CDH软件包。其中Cloudera Manager负责集群的部署与管理。CDH软件包囊括了hdaoop各类的组件的安装包,例如hiv...
  • u010824591
  • u010824591
  • 2016-04-17 20:06
  • 16358

mysql 5.7 离线安装教程

离线安装mysql 1.检查安装 rpm -qa | grep mysql   --查看系统之前是否已安装MySQL。  2.删除这个老版本 rpm -e --nodeps mysql-libs-5.1.47-4.el6.i686   3.检查是否安装mari...
  • qq_26531719
  • qq_26531719
  • 2017-12-25 11:45
  • 38

ceph H版手动安装

ceph H版安装(手动安装) 一、准备环境 干净的centos7环境二、获取RPM包并安装 1.更新yum yum -y update 2.获取密钥 sudo rpm --import 'https://download.ceph.com/keys/release.asc...
  • cuigelasi
  • cuigelasi
  • 2017-02-21 10:20
  • 639

以CentOS7为例的Zabbix服务器离线安装

一、 安装好CentOS 安装过程中添加php,mariadb等所需要的依赖 二、 准备好所有所需的rpm压缩文件包 在centos中解压,这里放在根目录下zabbix_rpms文件夹下 三、 安装所需rpm软件 安装以下3个软件 rpm -ivh zabbix_rpms...
  • outman1023
  • outman1023
  • 2018-01-29 20:48
  • 42

windows7 + tensorflow1.2.1离线安装教程

由于种种原因, 需要在不能联网的windows操作系统上部署tensorflow环境并能够成功运行, 参考博客:http://blog.csdn.net/Suan2014/article/details/76571443 本次离线安装过程与上述博客大致相同,不过由于tensorflow版本不同,故依...
  • selien1126
  • selien1126
  • 2017-09-06 14:45
  • 1371

[BigData] Ceph 离线安装教程

一、系统环境            CentOS 7 x86_64  二、软件下载(基于可访问网络的 CentOS 7 x86_64 系统) 2.1  配置 ceph 源,以 ceph-hammer 为例,这里使用163...
  • shida_csdn
  • shida_csdn
  • 2017-10-17 20:48
  • 198

安装 Cygwin---在线和离线方法

感谢 1、http://www.metsky.com/archives/525.html 手把手介绍了整个过程 2、http://blog.csdn.net/lanmanck/article/details/5738337 在安装过程中出现了command not found错...
  • nuobabijie730
  • nuobabijie730
  • 2017-03-24 13:43
  • 1033

从谷歌网站上下载离线安装版谷歌浏览器的方法

http://www.webhek.com/download-offline-standalone-chrome-broswer-from-google?_biz=MjM5OTA1MDUyMA==&mid=407358558&idx=2&sn=b21877f23bf4063f...
  • mengzhengjie
  • mengzhengjie
  • 2016-07-18 09:26
  • 802

离线安装Cygwin

1、获得离线安装包       在在线安装时,指定过下载文件存放的位置。在线安装完成后,到此目录,在我的机器上为D:\Software\Cygwin,下面有个文件夹为“http%3a%2f%2fmirrors.163.com%2fcygwin%2f”。  ...
  • zz962
  • zz962
  • 2011-10-22 13:21
  • 13899

Ubuntu OracleJDK离线安装教程

安装OracleJDK步骤: 第一步: 去官网下载JDK,下载链接: http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 选择相应版本自行下载。 第二步: 将下载的压缩包解...
  • shf4715
  • shf4715
  • 2015-07-12 09:27
  • 1464
    个人资料
    • 访问:237621次
    • 积分:3625
    • 等级:
    • 排名:第10714名
    • 原创:131篇
    • 转载:38篇
    • 译文:6篇
    • 评论:51条
    博客专栏