CDH & HDP
关注
分享
扫一扫
文章平均质量分 69
Hortonworks 数据平台(HDP) 是基于集中式架构的高度 安全且企业就绪的开源Apache Hadoop 版本(YARN)。 CDH 是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具（软件）。
往事随风ing
感恩 · 自信 · 宽容 · 耐心
展开
-
【Ambari基础】-- Ambari的基本介绍
Ambari是开源的集群管理工具，目前大数据开源厂商 Hortonworks就是使用它来管理集群组件。1、Ambari的基本架构Ambari Server从集群中收集数据。每个host都有Ambari agent的副本，允许Ambari server控制每个主机。下图是Ambari架构的简化表示：Ambari Web是一个客户端JavaScript应用程序，它调用Ambari ...翻译 2019-02-11 17:49:40 · 2538 阅读 · 1 评论 -
[CDH 基础]-- Cloudera Manager Metrics（CDH-6.3.0）
Cloudera Manager MetricsThis section provides information on metrics supported by Cloudera Manager.Ametricis a property that can be measured to quantify the state of an entity or activity. Th...转载 2019-11-07 09:57:20 · 1064 阅读 · 0 评论 -
[CDH 基础]-- tsquery 语言指南(CDH 6.3.0)
tsquery LanguageThe tsquery language is used to specify statements for retrieving time-series data from the Cloudera Manager time-series datastore.Continue reading:tsquery Syntax Metric Expr...转载 2019-11-07 09:54:55 · 1901 阅读 · 0 评论 -
[Flink 学习] -- 编译 CDH-6.3.0 版本的 Flink 1.9.0
前言 由于 Apache Flink 的开源二进制包未提供 HDP、MapR和 CDH 的下载，所以，如果要兼容基于这些厂商的库编译 Apache Flink。本文主要介绍使用 CDH 的库进行编译 Apache Flink 1.9.0，希望对读者有所帮助。内容 1、环境 Jdk 1.8、macOS10.14.6、Maven 3.6.2和Scala-2.11....原创 2019-10-17 18:16:37 · 4783 阅读 · 11 评论 -
[Impala 使用注意]--调整对应的参数(cdh-5.8.x版本)
Impala的可伸缩性注意事项本节介绍了您的群集大小和数据量如何影响Impala表的SQL性能和架构设计。通常，增加更多的群集容量可以减少由于内存限制或磁盘吞吐量而造成的问 另一方面，较大的群集更可能具有其他类型的可伸缩性问题，例如导致查询性能问题的单个缓慢节点。继续阅读：· 许多表或分区对Impala目录性能和内存使用的影响· Impala Statestore的可伸...翻译 2017-11-07 13:02:52 · 9555 阅读 · 2 评论 -
[CDH基础]-- 添加Kerberos认证(5.3.X以上)
步骤 4：使用向导启用 Kerberos所需角色：要启动 Kerberos 向导： 1.导航到 ClouderaManager Admin Console 并单击要启用 Kerberos 身份验证的群集右侧的。 2....翻译 2017-01-20 08:41:20 · 2434 阅读 · 5 评论 -
[CDH基础]--Cloudera Manager的安装包和pacels下载链接
一、基本组件安装1、pacels下载：http://archive.cloudera.com/cdh5/parcels/2、Cloudera Manager下载：http://archive.cloudera.com/cm5/cm/5/3、maven 仓库：https://repository.cloudera.com/artifactory/cloudera-repos/4、CDH安装说明：ht...原创 2016-10-21 16:47:46 · 4321 阅读 · 0 评论 -
[Yarn基础]-- Yarn资源分配
背景在 2018年 11月的某一天，我发现 spark-submit 设置的资源参数未生效（ –executor-cores 10），仔细排查后定位是Yarn 的分配策略使用有误，由于我们集群是使用 Ambari 安装的，未修改Yarn默认的分配策略（org.apache.hadoop.yarn.util.resource.DefaultResourceCalculator），所以导致 集群的...原创 2019-01-13 18:48:51 · 1997 阅读 · 1 评论 -
[域名命名]-- FQDN(Fully Qualified Domain Name)
前言常常在安装 CDH、HDP和 MapR的时候，会因为配置 hostname 映射和域名取得不对而导致后续一系列的问题：1、解析失败导致 CDH、HDP和 MapR的安装失败2、Kerberos 认证失败 所以，要遵守 FQDN 的规约！但是亲测后，有如下建议，请务必在命名主机名称时，一定注意：主机名只能使用，横杠、阿拉伯数字和英文字母的组合需要修改的地方如下：...原创 2019-01-29 11:08:41 · 7989 阅读 · 0 评论 -
[Spark升级]--在CDH-5.10.0中添加spark2(未添加Kerberos认证)
一、环境准备jdk-1.8+scala-2.11.X+python-2.7二、创建目录mkdir -p /opt/cloudera/csd修改权限chown cloudera-scm:cloudera-scm /opt/cloudera/csd获取csd(放到/opt/cloudera/csd目录)wget http://archi...原创 2018-01-23 13:29:04 · 3026 阅读 · 1 评论 -
[CDH安装]--关于Spark版本的支持
原文：https://www.cloudera.com/documentation/spark2/latest/topics/spark2_requirements.htmlSpark 2要求以下部分介绍了Apache Spark 2的Cloudera Distribution的软件需求。继续阅读：· CDH版本· Cloudera Manager版本· ...翻译 2017-09-28 16:16:15 · 6834 阅读 · 5 评论 -
[CDH安装]--CDH5和Cloudera Manager 5要求和支持的版本
原文：https://www.cloudera.com/documentation/enterprise/release-notes/topics/rn_consolidated_pcm.html#os510CDH 5和Cloudera Manager 5要求和支持的版本在企业数据中心中，Cloudera Manager和CDH与Apache Accumulo，Apache Impala（孵化），...翻译 2017-09-29 10:46:37 · 9028 阅读 · 0 评论 -
[CDH基础]-- 通过cloudera manager管理界面添加图表
英文原文链接：https://www.cloudera.com/documentation/enterprise/5-8-x/topics/cm_metrics.html 译文如下：本节提供有关Cloudera Manager支持的度量标准的信息。度量是可以被测量以量化实体或活动的状态的属性。它们包括属性，例如打开的文件描述符的数量或群集中的CPU利用率百分比。Cloudera...翻译 2017-03-16 17:41:31 · 8416 阅读 · 0 评论 -
[CDH与maven依赖]-- CDH对应组件版本和maven引入方法
一、CDH对应组件版本https://www.cloudera.com/documentation/enterprise/release-notes/topics/cdh_vd_cdh_package_tarball_58.html#concept_vd0_ydn_yk 二、使用maven引入对应组件版本https://www.cloudera.com/documenta...原创 2017-05-24 16:21:21 · 5175 阅读 · 0 评论 -
[CDH基础]-- CDH安装
【一】Cloudera Manager 安装 一\\系统环境准备(三台机器server1,server2,server3)前提：搭建本地Yum源1、网络配置(server1,server2,server3) #vi /etc/sysconfig/network #vi /etc/hosts #vi /etc/sysconfig/network-scripts/i...原创 2016-06-06 15:42:00 · 2670 阅读 · 0 评论 -
[CDH FAQ]--常见问答
原文：https://www.cloudera.com/documentation/enterprise/5-8-x/topics/cm_faqs.html#concept_zd5_ywy_4jCloudera Manager 5常见问题解答本指南介绍有关Cloudera Manager的常见问题解答。继续阅读：· 一般的问题o Cloudera Manager 5的新功能是什...翻译 2017-10-18 16:37:56 · 1084 阅读 · 0 评论 -
[CDH官方文档]--CDH最新官方文档(最全)
原文网站：https://www.cloudera.com/documentation/enterprise/latest.htmlIntroductionCDH Cloudera Manager Cloudera Navigator FAQs Getting Help Release GuideRelease Notes Version and Download Info Product Com...原创 2017-09-27 11:10:35 · 16376 阅读 · 2 评论 -
[CDH版本要求]--CDH 5和Cloudera Manager 5要求和支持的版本
英文原文：https://www.cloudera.com/documentation/enterprise/release-notes/topics/rn_consolidated_pcm.html#os510在企业数据中心，Cloudera Manager和CDH与Apache Accumulo，Apache Impala（孵化），Hue，Cloudera Search和Cloudera Na...翻译 2017-09-08 12:06:03 · 10605 阅读 · 0 评论 -
[CDH基础]--所有主机列表中的平均负载含义
前言 在CDH运维过程中，常常会考虑机器的负载情况，这样有助于判断设备的健康情况，CDH的管理也会使用Linux的命令检查平均负载，那么怎么去查找呢？ 本文就简单介绍下平均负载的含义。内容(1)Linux系统平均负载3个数字的含义。 1)查看平均负载的命令 在Linux shell下，有很多命令可以看到Load Average，例如： root@Sl...原创 2017-10-19 13:39:57 · 1995 阅读 · 0 评论 -
[CDH启动组件报错UNKNOW]--zookeeper或者其他组件重启出错
一、情景：当CDH集群初次启动后，过了一段时间，然后再重启其中组件时，不能启动，cm界面报Unknow错误。二、错误信息： UNKNOW三、分析： 1、了解cloudera manager的工作原理 2、判断是哪个工作流程出问题 3、查看cloudera agent和zookeeper的日志四、解决方法： 重启组件所在的cloudera agent...原创 2017-10-17 15:52:04 · 2002 阅读 · 0 评论 -
[CDH基础]-- 查看cloudrea的许可证---可用期限
步骤如下：1、登陆：http://ip:71802、点击查看：原创 2016-08-15 16:16:03 · 2735 阅读 · 0 评论