Installing Cloudera Manager and CDH

译自官网: Installing Cloudera Manager and CDH

本节介绍安装Cloudera Manager,CDH和托管服务(英文术语为management service)的选项。托管服务的选项有2种:托管部署和非托管部署,对应的英文术语为cloudera manager deployment和unmanaged deployment。你可以安装:

  • 使用Cloudera Manager deployment安装Cloudera Manager,CDH和management service,是安装CDH和托管服务的推荐方法。
  • 使用非托管部署。

Cloudera Manager Deployment

Cloudera Manager deployment由以下软件组件组成:

  • Oracle JDK
  • Cloudera Manager Server and Agent packages
  • Supporting database software
  • CDH and managed service software

本节介绍创建一个新的Cloudera Manager deployment的三个主要安装路径以及选择安装路径的条件。 如果您的集群已经安装了Cloudera Manager的先前版本,请按照 Cloudera Upgrade Overview进行操作。

重点:如果您打算以高可用性配置部署Cloudera Manager,请在开始安装之前参阅Configuring Cloudera Manager for High Availability With a Load Balancer 

这三个Cloudera Manager安装路径既有相同,也有不同,不同的部分支持不同的用户和群集主机要求:

非生产部署

安装路径A - Cloudera Manager自动安装(非生产模式) - Cloudera Manager在集群主机上自动安装Oracle JDK,Cloudera Manager Server,嵌入式PostgreSQL数据库,Cloudera Manager Agent,CDH和托管服务软件。 Cloudera Manager还为Cloudera Manager Server和Hive Metastore以及可选的Cloudera Management Service角色配置数据库。 建议将此路径用于演示和概念证明部署,但不推荐用于生产部署,因为它不打算扩展,并且可能需要在群集增长时进行数据库迁移。 要使用此方法,服务器和群集主机必须满足以下要求:

  • 提供使用root帐户或具有无密码sudo权限的帐户登录到Cloudera Manager Server主机的功能。
  • 允许Cloudera Manager Server主机在所有主机的同一端口上进行统一的SSH访问。 有关更多信息,请参阅 CDH and Cloudera Manager Networking and Security Requirements
  • 所有主机必须有权访问标准软件包存储库以及archive.cloudera.com或具有所需安装文件的本地存储库。
安装路径B - 使用Cloudera Manager包或软件包进行安装 - 您可以在Cloudera Manager Server主机上安装Oracle JDK,Cloudera Manager Server和嵌入式PostgreSQL数据库包。 在集群主机上安装Oracle JDK,Cloudera Manager Agent,CDH和托管服务软件有两种选择:手动安装它或使用Cloudera Manager自动安装。

为了让Cloudera Manager自动安装Cloudera Manager Agent软件包或CDH和托管服务软件,群集主机必须满足以下要求:

  • 允许Cloudera Manager Server主机在所有主机的同一端口上进行统一的SSH访问。 有关更多信息,请参阅 CDH and Cloudera Manager Networking and Security Requirements
  • 所有主机必须有权访问标准软件包存储库以及archive.cloudera.com或具有所需安装文件的本地存储库。

以上是非生产部署,下面我们看看生产部署

生产部署

生产部署 - 需要您先为Cloudera Manager Server和Hive Metastore手动安装和配置生产数据库。 有安装路径B和安装路径C两个安装选项:

安装路径B - 使用Cloudera Manager包或软件包进行安装 - 您可以在Cloudera Manager Server主机上安装Oracle JDK和Cloudera Manager Server软件包。 在集群主机上安装Oracle JDK,Cloudera Manager Agent,CDH和托管服务软件有两种选择:手动安装它或使用Cloudera Manager自动安装。

为了让Cloudera Manager自动安装Cloudera Manager Agent软件包或CDH和托管服务软件,群集主机必须满足以下要求:

  • 允许Cloudera Manager Server主机在所有主机的同一端口上进行统一的SSH访问。 有关更多信息,请参阅 CDH and Cloudera Manager Networking and Security Requirements
  • 所有主机必须有权访问标准软件包存储库以及archive.cloudera.com或具有所需安装文件的本地存储库。

安装路径C - 使用Cloudera Manager Tarballs手动安装 - 使用tarball安装Oracle JDK,Cloudera Manager Server和Cloudera Manager Agent软件,并使用Cloudera Manager将CDH和托管服务软件作为包裹进行自动安装。

重点:Cloudera不支持在Docker容器中使用主机进行CDH集群部署。

Cloudera Manager 安装阶段

下表介绍了安装Cloudera Manager和Cloudera Manager部署CDH和托管服务的阶段。 每个阶段都是必需的,但您可以通过多种方式完成每个阶段,具体取决于你自身的组织决策和要求。 根据Cloudera Manager Server和群集主机上Cloudera Manager Server和数据库软件的安装方式,这六个阶段分为三个安装路径。 上文已经介绍了选择安装路径A、B、C的标准。

Cloudera Installation Phases
Phase   
Phase 1: Install JDK

Install the JDK required by Cloudera Manager Server, Management Service, and CDH.

有两种选择:
  • 使用Cloudera Manager安装程序在/ usr / java中以及群集中的所有主机上安装支持的Oracle JDK版本。
  • 使用命令行手动安装受支持的Oracle JDK版本,并将JAVA_HOME环境变量设置为所有主机上的安装目录。
Phase 2: Set up Databases

Install, configure, and start the databases that are required by the Cloudera Manager Server, Cloudera Management Service, and that are optional for some CDH services.

有两种选择:
  • 使用Cloudera Manager安装程序来安装,配置和启动嵌入式PostgresSQL数据库。
  • 使用像yum这样的命令行包安装工具来安装,配置和安装数据库
 Path APath BPath C
Phase 3: Install Cloudera Manager Server

Install and start Cloudera Manager Server on one host.

使用Cloudera Manager安装程序安装其软件包和服务器。 在主机上需要Internet访问权限和sudo权限。使用Linux软件包安装命令(如yum)来安装Cloudera Manager Server。
更新数据库属性。


使用service命令启动Cloudera Manager Server。

使用Linux命令解压tar包(tar包英文术语为tarball)和service命令启动服务器。
Phase 4: Install Cloudera Manager Agents

Install and start the Cloudera Manager Agent on all hosts.

使用Cloudera Manager安装向导在所有主机上安装代理。有两种选择:
  • 使用Linux软件包安装命令(如yum)在所有主机上安装Cloudera Manager Agent。
  • 使用Cloudera Manager安装向导在所有主机上安装代理。
使用Linux命令解压tar包和service命令以启动服务器。
Phase 5: Install CDH and Managed Service software

Install, configure, and start CDH and managed services on all hosts.

使用Cloudera Manager安装向导安装CDH和其他托管服务。有两种选择:
  • 使用Cloudera Manager安装向导安装CDH和其他托管服务。
  • 使用Linux软件包安装命令(如yum)在所有主机上安装CDH和其他托管服务。
使用Linux命令解压缩tar包和service命令在所有主机上启动CDH和托管服务。
Phase 6: Create, Configure and Start CDH and Managed Services

Configure and start CDH and managed services.

使用Cloudera Manager安装向导安装CDH和其他托管服务,为主机分配角色并配置群集。 许多配置都是自动的。使用Cloudera Manager安装向导安装CDH和其他托管服务,为主机分配角色并配置群集。 许多配置都是自动的。使用Cloudera Manager安装向导安装CDH和其他托管服务,为主机分配角色并配置群集。 许多配置都是自动的。
您还可以使用Cloudera Manager API来管理群集,这对编写预配置的部署脚本很有用。

Cloudera Manager 安装的软件

Clouera Manager在受支持的安装路径下提供了如下软件:

安装路径A(非生产) - 一个小型自行执行的Cloudera Manager安装程序,用于安装Cloudera Manager Server和其他软件包。 Cloudera Manager安装程序执行以下操作:

  • 安装Cloudera Manager和Oracle Java Development Kit(JDK)的软件包存储库。
  • 安装Cloudera Manager软件包。
  • 安装和配置嵌入式PostgreSQL数据库(嵌入式英文术语为embedded),以供Cloudera Manager Server,某些Cloudera Management Service角色,某些托管服务和Cloudera Navigator角色使用。

重点:path A仅用于演示和概念验证部署。 不要在生产环境中使用这种安装方法。

安装路径B和C - Cloudera Manager软件包存储库,用于手动安装Cloudera Manager Server,代理和嵌入式数据库软件包。

安装路径B - 用于自动安装Cloudera Manager Agent软件包的Cloudera Manager安装向导。

所有安装路径 - 用于在群集主机上自动执行CDH和受管服务安装和配置的Cloudera Manager安装向导。 Cloudera Manager提供了两种安装CDH和托管服务的方法:parcels和packages。 Parcels简化了安装过程,并允许您从Cloudera Manager内下载,分发和激活新版本的CDH和托管服务。 首次安装Cloudera Manager并连接到Cloudera Manager Admin Console后,请使用Cloudera Manager安装向导执行以下操作:

  • 发现集群主机。
  • (可选)安装Oracle JDK。
  • (可选)在群集主机上安装CDH,托管服务和Cloudera Manager Agent软件。
  • 选择服务。
  • 将服务角色映射到主机。
  • 编辑服务配置。
  • 启动服务。

如果您中止软件安装过程,安装向导将自动恢复并回滚任何未安装完成的组件的安装过程。 (已在主机上成功完成的安装不会在该主机上回滚。)

安装路径:


Unmanaged Deployment

在不受Cloudera Manager管理的部署中,您负责管理每个主机上CDH和托管服务组件的生命周期的所有阶段:安装,配置和服务生命周期操作,例如启动和停止。 本节介绍在非托管部署中安装CDH 5软件的替代方法。

1. 命令行方法:

  • 下载并安装CDH 5“一键安装”软件包
  • 添加CDH 5存储库
  • 构建您自己的CDH 5存储库

2. tarball:

  您可以从 CDH downloads下载tarball。 牢记以下几点:

  • 从tarball安装CDH 5将安装YARN。
  • 在CDH 5中,MRv1没有单独的tarball。 相反,MRv1二进制文件,示例等在Hadoop tarball中提供。 用于运行MRv1的脚本位于tarball中的bin-mapreduce1目录中,MRv1示例位于 examples-mapreduce1目录中。
有关每个选项的详细说明,请参阅 Installing and Deploying CDH Using the Command Line
阅读更多

没有更多推荐了,返回首页