Cloudera安装指南
最近在学习cdh6的官方文档,网上也比较难找到中文的文档。
其实官方英文文档的阅读难度其实并不是很高,所以在这里在学习官方文档的过程中,把它翻译成中文,在翻译的过程中加深学习了解,并分享出来和大家一起学习。
中文内容是本人的渣渣英文水平结合有道词典,谷歌翻译的结果,文中部分词语可能翻译的并不准确,希望大家多多提出意见,共同进步。
cdh6的官方中文文档系列长期更新,最后目标整理成gitbook,同大家交流学习。
最后,如果你觉得本文对你有用,希望点个赞给作者一点鼓励哈。
与其感慨路难行不如马上上路,诸位道友,共同学习,加油!-------天南第一剑修
文章目录
官方文档
本指南提供了在生产环境中安装Cloudera软件(包括Cloudera Manager、CDH和其他托管服务)的指导。
对于非生产环境(例如测试和概念验证用例),请参阅概念验证安装指南,了解简化的(但有限的)安装过程。
本指南包括以下部分:
安装Navigator Data Management
- Minimum Recommended Memory and Disk Space
- Configuring a Database for Cloudera Navigator
- Adding Cloudera Navigator Roles During the Cloudera Manager Installation Process
- Adding Cloudera Navigator Data Management Roles to an Existing Cloudera Manager Cluster
- Cloudera Navigator Data Management Documentation
Cloudera Navigator数据管理组件在两个不同的角色中实现——Navigator审计服务器和Navigator元数据服务器,它们运行在Cloudera管理服务上。这些角色可以在初始安装Cloudera Manager时添加,也可以稍后添加到现有的Cloudera Manager集群中。
重要提示:Cloudera Navigator数据管理需要Cloudera企业许可证。Cloudera Express没有这个功能。有关详细信息,请参见管理许可证。
本页中的步骤是安装Cloudera导航器作为新的Cloudera Manager集群安装的一部分,以及将服务添加到现有集群。有关升级现有部署的信息,请参见升级Cloudera Manager。
注意:有关兼容的Cloudera导航器和Cloudera管理器版本的信息,请参阅Cloudera导航器的产品兼容性矩阵。
建议的最小内存和磁盘空间
Resource | Navigator Audit Server | Navigator Metadata Server |
---|---|---|
Memory | 不固定, 但是要求不少于Navigator Metadata Server | 40 GB total |
Java heap size | 2 – 3 GB | 10–20 GB (initial setup) |
OS buffer cache | 20 GB | 20 GB (initial setup). Increase by 20-GB increments over time as needed. |
Disk | 数百GB。取决于集群大小和生成的审计卷。 | 200 GB (建议SSD) |
Default path | None. 本地的 Cloudera Navigator 数据库. | /var/lib/cloudera-scm-navigator |
Navigator Metadata Server 和Navigator Audit Server有不同的推荐配置,您在计划部署时应该考虑这些配置。初次安装时,请注意以下事项:
-
Navigator审计服务器内存和磁盘需求——对于Navigator审计服务器,2-3 GB (GB)的Java堆大小通常就足够了(内存通常不会产生任何问题)。对于Navigator Audit Server,数据库配置会影响性能,因此必须正确配置。由于Navigator审计服务器可能需要每天推送数百万行审计数据(取决于集群大小、服务数量和其他因素),Cloudera建议:
- 将数据库设置在与Navigator审计服务器相同的主机上,以最小化延迟。
- 监视数据库工作负载并根据需要进行调优。
-
Navigator Metadata Server Memory and Disk Requirements内存和磁盘需求——Navigator 元数据服务器的搜索功能依赖于嵌入式Solr实例。Solr索引在本地保存到主机的硬盘驱动器,通常只消耗几十gb的磁盘空间,因此为数据分配~200 gb通常就足够了。对于导航元数据服务器磁盘,Cloudera建议:
-
在Solr索引所在的主机上挂载SSD驱动器,以获得最快的I/O。
-
一旦系统启动并运行,请使用清除功能,以保持检查该位置的硬盘驱动器的消耗。
导航元数据服务器可能出现的瓶颈通常与I/O和内存(而不是CPU)相关。内存包括可用于操作系统缓冲区缓存设置的Java堆大小和可用RAM。对于导航元数据服务器RAM, Cloudera建议:
-
将Java堆大小设置为10-20 GB,这对于初始设置来说已经足够了。
-
根据集群活动的需要,将操作系统缓冲区缓存增加20 GB以提高性能。
-
有关更多信息,请参见Navigator元数据服务器调优。
为Cloudera Navigator配置数据库
在安装Cloudera Navigator过程中,必须选择一个数据库来存储审计事件和策略、角色和审计报告元数据。您可以选择嵌入式PostgreSQL数据库,也可以选择外部数据库,如Oracle或MySQL(参见其他数据库系统的数据库需求)。
对于生产环境,Cloudera建议使用外部数据库而不是嵌入式PostgreSQL数据库。此外,在开始安装过程之前,必须设置并运行数据库。有关更多信息,请参见步骤4:安装和配置数据库。
在Cloudera Manager安装过程中添加Cloudera Navigator 角色
Cloudera管理器要求角色:完全管理员
-
安装Cloudera管理器,详见安装指南。
-
在Cloudera Manager安装向导的第一页,选择一个支持Cloudera导航器的许可选项:
-
数据科学与工程版
-
操作数据库版本
-
数据库版本
-
企业数据中心版
-
-
上传许可:
-
点击上传许可证。
-
单击“选择许可文件文本字段”左边的文档图标。
-
转到许可文件的位置,单击该文件,然后单击Open。
-
点击上传。
-
-
单击Continue继续安装。
-
在Add Services过程的第一页,单击Include Cloudera Navigator复选框。
-
要使用外部数据库,请在数据库设置页面中输入Cloudera Navigator审计服务器和元数据服务器数据库属性。
向现有的Cloudera管理器集群添加Cloudera导航器数据管理角色
如果Cloudera Manager集群有足够的资源,您可以随时向集群添加任何一个Cloudera导航器角色的实例。有关更多信息,请参阅:
Cloudera导航器数据管理文档
下表列出了与配置、升级、管理和使用Cloudera Navigator数据管理组件相关的其他主题。
FAQ | Cloudera Navigator常见问题回答有关Cloudera Navigator数据管理组件以及它如何与其他Cloudera产品和集群组件交互的常见问题。 |
---|---|
Introduction | Cloudera Navigator Data Management Overview为数据专员、治理和遵从性团队、数据工程师和管理员提供概述。包括Cloudera导航器的入门,对Cloudera导航器控制台(UI)和Cloudera导航器api的概述。 |
User Guide | Cloudera导航器数据管理指南向数据专员、法规遵循官员和其他业务用户展示如何使用Cloudera导航器执行数据治理、法规遵循、数据管理和其他任务。主题包括审计、元数据、传承图、Cloudera导航器和云、服务和安全管理等等。 |
Upgrade | 升级Cloudera管理器(Cloudera导航器与Cloudera管理器一起升级)。 |
Security | Configuring Authentication for Cloudera Navigator Configuring TLS/SSL for Navigator Audit Server Configuring TLS/SSL for Navigator Metadata Server |
Release Notes | Cloudera Navigator Data Management Release Notes |