安装方式B--使用ClouderaManager的Parcels包进行安装

最新推荐文章于 2024-08-30 15:52:17 发布
置顶 最新推荐文章于 2024-08-30 15:52:17 发布
阅读量8.5k 收藏 1
点赞数 1

安装方式B–使用ClouderaManager的Parcels包进行安装

安装方式B使用从ClouderaManager依赖库下载的包进行安装。安装JDK、Agents、CDH、Managed Service有多种方式可供选择：

  • 使用这些包手工进行安装。你可以使用像Puppet或者Chef等工具帮助你向集群中所有的主机安装这些软件。
  • Cloudera Manager可以为你向集群中所有的主机安装这些软件。如果你选择了Cloudera Manager安装方式，你可以选择使用包进行安装或者使用parcels进行安装。为了可以使用Cloudera Manager自动安装Cloudera Manager Agent包或者CDH和受管理的服务，集群中的所有主机应该满足以下条件：
    • 允许Cloudera Manager Server主机可以使用一致的SSH 账号密码进行登录。
    • 所有的主机必须可以访问到标准包依赖的路径（archive.cloudera.com），或者本地依赖库的路径（必须包含需要的安装文件）

在开始安装之前，需要先安装好Cloudera Manager
注：CDH集群部署不支持在docker容器中进行

1.安装之前的准备

a.使用单用户模式进行配置（单用户模式：在单用户模式下,Cloudera Manager Agent和所有的流程由服务由Cloudera Manager 开始作为一个单独的配置管理用户和组。）
b.在RHEL 5和CentOS 5 系统中确认已经安装Python 2.6(CDH5需要Python支撑)
c.安装并配置外部数据库（Oracle、MySQl或者PostgreSQL）
http://www.cloudera.com/documentation/enterprise/latest/topics/cm_ig_installing_configuring_dbs.html#concept_i2r_m3m_hn

建立你的Cloudera Manager 库依赖策略

Cloudera建议安装产品使用包管理工具,如RHEL系统兼容的yum
SLES使用zypper, Debian/Ubuntu 使用apt-get. 这些工具依赖于repositories 文件指定的路径来安装软件。比如说，Cloudera维护着网络可以访问的repositories 软件库，用来供CDH和Cloudera Manager安装。有以下两种安装策略可供选择：

当使用一个内部存储库时,必须将repo或list文件复制到Cloudera Manager服务器主机上，并更新存储库属性指向内部存储库url（指的是安装界面上需要输入的repo库地址）。

RHEL系统兼容的构建内部存储库方式：

1.下载对应的Cloudera Manager repo文件（cloudera-manager.repo）

RHEL/CentOS 6： https://archive.cloudera.com/cm5/redhat/6/x86_64/cm/cloudera-manager.repo

2.拷贝这个文件到 /etc/yum.repos.d/ 路径下

安装Cloudera Manager Server 软件

这一步在Cloudera Manager 的主机上安装 JDK 和Cloudera Manager Server 包

在Cloudera Manager 主机上安装JDK

可以使用repository依赖库进行在线安装，也可以在Oracle官网自己下载JDK安装包进行安装

  • 通过repository 安装JDK
    JDK在CM5 的repository库中已经包含。下载并修改repo文件之后，按照如下命令进行安装：
$ sudo yum install oracle-j2sdk1.7

安装Cloudera Manager Server 包

1.安装Cloudera Manager Server 包，需要提前在本地host主机上安装好数据库，或者可以通过网络访问一个数据库。这个host主机不需要是集群中的一个成员，在Cloudera Manager Server主机上，输入如下的命令对Cloudera Manager 包进行安装：

$ sudo yum install cloudera-manager-daemons clodera-manager-server

2.如果你选择了Oracle 数据库用于Cloudera Manager，在CM server的host主机上编辑 /etc/default/cloudera-scm-server 文件。定位以export CM_JAVA_OPTS开头的那一行，将-Xmx2G改为-Xmx4G

（可选项）手动安装Oracle JDK，Cloudera Manager Agent，CDH 和一些管理服务安装包

你可以使用Cloudera Manger 安装Oracle JDK，Cloudera Manager Agent，CDH 和一些管理服务安装包，当然也可以手动进行安装。

启动Cloudera Manager Server

注意：如果你想启动Cloudera Manager Server 和 Agent，不能在这之前启动HDFS、MapReduce。

1.在Cloudera Manager Server主机上运行如下的命令：

sudo service cloudera-scm-server start

如果没有正常启动，查看链接定位问题：
http://www.cloudera.com/documentation/enterprise/latest/topics/cm_ig_troubleshooting.html#cmig_topic_19

启动并登陆Cloudera Manager Admin界面

1.等待几分钟让Cloudera Manager Server完全启动，输入tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log可以观察启动过程。
如果Cloudera Manager Server没有启动,点击 http://www.cloudera.com/documentation/enterprise/latest/topics/cm_ig_troubleshooting.html#cmig_topic_19 查看安装和升级问题定位

2.在浏览器中输入http://Server host:7180，Server host是运行CM的主机的限定域名或者ip地址。

3.使用username:admin psw:admin登陆
4.出现用户条款页面， 接受，下一步

选择CM的版本

出现3个版本
基本版 　　Flex版 　　企业数据中心版
选择基本版就好了

下一步

选择Cloudera Manager 的hosts主机

选择哪些主机将CDH和管理服务

1.搜索并选择要安装服务的主机
举例：

范围定义匹配的主机
10.1.1.[1-4]10.1.1.1, 10.1.1.2, 10.1.1.3, 10.1.1.4
host[1-3].company.comhost1.company.com, host2.company.com, host3.company.com
host[07-10].company.comhost07.company.com, host08.company.com, host09.company.com, host10.company.com

点击搜索，勾选需要安装服务的主机

2.点击继续 出现集群安装选择依赖库的界面

选择软件安装方式并安装软件

注意： 你不能使用Parcels包和tar包在同一集群安装软件。如果你已经安装了CDH和服务安装包，将不能继续使用parcels安装方式进行

1.选择软件安装方式（Parcles）和对应的版本号

  • a.选择要安装的Parcel包
    你可以指定要安装的Parcel包的路径，点击“More options”按钮进行如下操作
    • Parcel包路径指定和本地 Parcel 依赖库的指定 -
      如果你改变了默认的 Parcel路径，并且已经安装并启动了Cloudera Manager Agents，需要重新启动Agentssudo service cloudera-scm-agent restart：
    • Parcel 依赖 – 在 Remote Parcel Repository URLs 区域，点击“+”按钮输入依赖库的URL。
    • 代理服务器的指定
  • b. 如果你是使用CM安装软件，你可以选择指定一个自定义存储库中的版本，并且提供一个GPG 秘钥的URL路径

2.如果你已经在集群上所有的主机上手动安装了Agent和JDK

  • 点击 Continue
  • 跳过剩余步骤，直接“添加服务”

3.选择安装Oracle Java SE开发工具包(JDK)
如果您已经安装了JDK,不选择这个选项

4.选择单用户模式（可选），点击“Continue”继续
5.指定主机的一下安装参数

  • 选择root用户或者输入用户名称（该用户名拥有执行sudo命令的权限）
  • 选择授权方式
    • 如果选择了使用password进行授权，输入密码2次
    • 如果选择了公钥授权，向指定的key文件输入口令和路径
  • 指定SSH端口，这个默认22，不需要动
  • 选择默认的最大同时安装软件的主机个数，默认是10

root用户的密码在本步中不会被保存，所以你安装完之后，可以修改用户密码，不会对这些软件的使用造成任何影响

6.点击“Continue”
parcel安装过程中会进行相应的提示
7.如果安装完成，点击“Finish”

添加服务

后期更新

大数据小小罗
关注
Cloudera Manager6.3.2的运维使用
xinxizjz的博客
11-03 456
Cloudera Manager6.3.2的安装具体组件的步骤
Cloudera Manager 5.14.X 安装部署（中）
留不住斜阳的博客
09-04 515
安装Server和Agent 方式一（path A installer-采用嵌入式PostgreSQL数据库） 前置条件：（CM集群每个节点都要实现） ​ 1）修改系统文件句柄数； ​ 2）修改swap交换区空间； ​ 3）禁用hugepage透明大页； ​ 4）关闭防火墙和selinux； ​ 5）修改主机名和映射文件； ​ 6）实现免秘钥登录； ​ 7）搭建共享源； ​ 8）配置好ntp时间同步服务； ​ 9）安装JDK； 1. 安装CM Agent
cloudera-manager.repo
07-15
用于进行环境clouderamanger相关的初始环境搭建以及过程
cloudera manager的agent安装时候 出现的问题
xiaoyutongxue6的博客
10-24 1万+
/tmp/scm_prepare_node.K0tOAFSy  using SSH_CLIENT to get the SCM hostname: 10.221.5.140 33607 22  opening logging file descriptor  正在启动安装脚本... 正在获取安装锁... BEGIN flock 4 END (0)  正在检测根权限... effectiv...
Cloudera Manager分发Parcel异常分析
最新发布
u011250186的博客
08-30 199
Cloudera Manager分发Parcel异常分析
Centos6离线安装CDH5.14.2最全详细教程-5安装Cloudera Manager
荒野雄兵的专栏
06-10 7447
概述 文章写得很详细，很长，所以这里分成了7个部分 这里是第二部分, 第一部分：前言 第二部分：环境准备1 第三部分：环境准备2 第四部分：安装Mysql数据库 第五部分：安装Cloudera Manager主服务 第六部分：配置Mysql数据库 第七部分：所有节点安装Cloudera Manager从服务及大数据组件 记得先看下第一部分的概述 这里再强调一下注意事项 1....
未在已配置的存储库中找到任何parcel
kimi的博客
02-23 3511
在装cdh的时候遇到了问题，配置完parcel存储库以后页面提示：未在已配置的存储库中找到任何 parcel。尝试在更多选项下添加一个自定义存储库。否则，您可能只能继续使用包 默认的parcel存储库目录是 cd /opt/cloudera/parcels，发现这个目录是空的,切换到安装包目录， cp CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.* /opt/cloudera/parcel-repo/ 成功以后应该会有这几个文件： 注意： .sha1需
Cloudera Manager 6.2.1安装
伯乐钟情
09-30 759
1. 环境准备 1.1. 处理Linux环境 a) 确保各主机拥有root权限 主要是为了避免安装过程中的权限问题 b) 关闭防火墙 [root@abc] systemctl stop firewalld [root@abc] systemctl disable firewalld c) 确保如下端口是开放的 https://www.cloudera.com/documentation/enterprise/6/6.1/topics/cm_ig_ports.html d) 关闭SELi..
Cloudera Manager CDH 离线安装
热门推荐
黄智霖的博客
05-24 5万+
注：离线安装只是针对CM、CDH、数据库等较大的模块，中途如果需要安装其它相关依赖的组件，还是选择的在线安装，这些组件都很小不会有什么影响。如果使用的虚拟机实在没有网络，那么下载到宿主机之后上传安装也可以，只是需要自己处理一些依赖。 一、环境准备 1.1 虚拟机准备 由于环境限制，我这里准备四台虚拟机，并且固定ip为：192.168.0.198、192.168.0.210、192.168.0...
spark-使用cloudera manager部署的spark测试运行mllib的例子
lisery的博客
10-29 1496
1.测试cdh集群中spark是否正常运行 [root@cdh01 ~]# spark-submit --master local --class org.apache.spark.examples.SparkPi /opt/cloudera/parcels/CDH-5.11.1-1.cdh5.11.1.p0.4/lib/spark/lib/spark-examples.jar 10 18...
[centos] 使用package升级cloudera manager 5.13
memoordit的专栏
12-14 1209
欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦： Markdown和扩展Markdown简洁的语法 代码块高亮 图片链接和图片上传 LaTex数学公式 UML序列图和流程图 离线写博客 导入导出Markdown文件 丰富的快捷键 快捷键 加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl
CDH5实践（四）Cloudera Manager 5安装中碰到的一些问题和解决办法
csolo的博客
09-21 1万+
问题一：安装过程中会出现失败，查看detail信息中，提示 host 无法连接 解决：前面的文章中漏了对主机host的一个修改， 除了修改 /etc/hosts 文件外，我们还需要修改修改  /etc/sysconfig/network 文件，并且需要重启才能生效。 问题二：CDH5 安装中，hive和monitor host 都需要数据库，除了postgresql外，是否可以
CM5.7.0 - CDH5.7.0安装
ukakasu的博客
04-20 1130
CM5.7.0 - CDH5.7.0的安装配置  0、依赖安装：  升级内核： rpm -uvh kernel-firmware-2.6.32-573.el6.noarch.rpm rpm -uvh kernel-2.6.32-573.el6.x86_64.rpm 重启机器  添加依赖包： python-psycopg2 rpm -ivh python-psycopg2
git 初始化git存储库_解决Git的“致命：未找到存储库”错误的五种方法
服务器编程交流平台
07-09 7746
没有什么比加入一个新的开发团队并热切地克隆现有的源代码仓库更糟糕的了，它只会首先遇到Git的“致命：找不到存储库”错误。 对于那些为该问题苦苦挣扎的人，这里提供了五个可能的修复程序，以解决令人沮丧的资源库未找到错误消息。 1.您未验证 如果您尝试连接到私有GitHub或BitBucket存储库而无法通过身份验证，则会收到未找到存储库的错误。 为了确保您确实在进行身份验证，请连接到存储...
cloudera-manager.repo https问题
真正的才智是刚毅的志向
08-10 2468
故障现象： 内部网络安装过程中报如下错误： https://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.13.3/repodata/repomd.xml: [Errno 14] Peer cert cannot be verified or peer cert invalid Trying other mirror. Error: Canno...
Cloudera Manager5在线安装停止在获取安装锁、不能选择安装主机、本地 parcel 错误
system1190的专栏
12-15 9304
当我们处于下载的过程中，如下图 如果我们的网络不错，下载成功，如下图。 可是我们下载过程中，中断了，我们回不到下载界面了， 而是进入了下面界面:   我们该如何找回cloudera-agent 执行下面命令： sudo apt-get remove avro-tools crunch flume-ng hadoop-
CDH Parcels 离线安装
shanelisy的专栏
01-09 4599
Installation Path A - Automated Installation by Cloudera Manager 要求所有机器都能连网，而且外国网站不太稳定。一旦失败，重装非常痛苦。 Installation Path B - Manual Installation Using Cloudera Manager Packages 设置Red Hat/CentOS或者Debia
Cloudera Manager安装之利用parcels方式（在线或离线）安装3或4节点集群（包含最新稳定版本或指定版本的安装）（添加服务）（Ubuntu14.04）（五）...
weixin_34195546的博客
06-25 236
      　　前期博客 Cloudera Manager安装之Cloudera Manager 5.6.X安装（tar方式、rpm方式和yum方式） （Ubuntu14.04） （三）    　　 　　如果大家，在启动的时候，比如遇到如下问题，则      　　 明明已经授权了啊，怎么被拒绝，纳尼？？？          　　 　　解决办法     ...
(1) 2.1.A - 搭建Cloudera本地包存储库
qiangweiyan的博客
03-13 1105
1. 配置本地包存储库 官方（Configuring a Local Package Repository）介绍了两种方式的内部存储库： 永久的内部存储库 临时的内部存储库 这里只记录第一种方式“永久存储库”的操作方法。 临时存储库与永久存储库大同小异，区别 只是使用python启动web服务而已。该下载什么文件，还是要下载的。 1.1. 设置一个Web服务器 配置内部存储库时,必须在 C...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值