CDH
文章平均质量分 75
CDH和HDP相关整理
曹宇飞丶
好男人不过就是:1、能赚到给女人买裙子的钱。2、陪她去买。3、说好看。
展开
-
配置Hiveserver 高可用,新增Hiveserver2启动失败
配置Hiveserver 高可用,新增Hiveserver2启动失败:Error initializing notification event poll原创 2022-05-30 16:16:38 · 2456 阅读 · 1 评论 -
KUDU Master迁移
kudu集群为kudu 1.9.0-cdh6.2.1,3个master高可用集群,其中一个master节点需要下线维护,迁移该节点的master角色至其他节点。原创 2022-04-26 15:34:54 · 941 阅读 · 0 评论 -
CDH邮件报警配置
cloudera manager提供邮件告警功能,方便管理员在集群出现问题的第一时间维护集群。原创 2022-03-24 10:17:45 · 1046 阅读 · 0 评论 -
CDH6.2.1 hive2.1导入orc分区表异常处理过程
CDH6.2.1 hive2.1导入orc分区表,HSQL查询异常处理过程原创 2022-03-24 09:49:57 · 3148 阅读 · 0 评论 -
配置kettle连接CDH集群的HiveServer
配置kettle连接CDH集群的HiveServer原创 2022-03-23 14:37:41 · 2665 阅读 · 0 评论 -
HDFS报错datanode.DataNode (DataXceiverServer.java:run(168))
java.io.IOException: Xceiver count 202 exceeds the limit of concurrent xcievers: 200原创 2022-03-02 16:41:27 · 2025 阅读 · 0 评论 -
CDH6.2.1 kudu1.9.0的sentry授权探索
CDH6.2.1 kudu1.9.0的sentry授权探索原创 2021-12-27 16:42:52 · 1919 阅读 · 0 评论 -
CDH6.2.1 hive2.1导入orc分区表异常处理过程
CDH6.2.1 hive2.1导入orc分区表异常处理过程原创 2021-12-23 11:28:06 · 2367 阅读 · 0 评论 -
使用Hive SQL插入动态分区的Orc表OOM异常分析
执行语句‘insert into table xxx partition(dt) select …’ 向ORC格式的表中插入数据时报错原创 2021-06-18 16:43:02 · 1327 阅读 · 0 评论 -
Apache Hadoop 3.x HDFS 磁盘平衡
Diskbalancer 是一个命令行工具,可以将数据均匀分布在一个数据节点的所有磁盘上。该工具与负责集群范围数据平衡的Balancer不同 。由于多种原因,数据可能在节点上的磁盘之间分布不均。这可能是由于大量写入和删除或由于磁盘更换而发生的。该工具针对给定的数据节点运行并将块从一个磁盘移动到另一个磁盘。翻译 2021-06-18 16:38:23 · 709 阅读 · 0 评论 -
记录一次HBase异常处理过程
记录一次HBase异常处理过程,包括HDFS数据问题、MetaData问题、regions重叠问题、表数据不一致原创 2021-04-15 17:35:02 · 1169 阅读 · 0 评论 -
CDH集群启用Sentry Kerberos LDAP
CDH集群启用Sentry Kerberos LDAP原创 2021-04-14 22:15:26 · 754 阅读 · 3 评论 -
CentOS7.4配置OpenLDAP Client集成AD服务及SSSD服务与SSH服务
CentOS7.4配置OpenLDAP Client集成AD服务及SSSD服务与SSH服务原创 2021-04-14 22:05:10 · 2341 阅读 · 0 评论 -
如何在CDH启用AD的Kerberos
如何在CDH启用AD的Kerberos原创 2021-04-14 21:58:25 · 653 阅读 · 0 评论 -
kafka-manager搭建
kafka-manager管理多个kafka集群便捷的检查kafka集群状态选择要运行的副本为已存在的topic增加分区原创 2021-03-26 19:43:34 · 1863 阅读 · 2 评论 -
CDH未开启订阅前下载的安装包!
CDH未开启订阅前下载的安装包!原创 2021-03-24 15:46:33 · 818 阅读 · 19 评论 -
ambar使用API删除或移动web无法操作的服务
通过ambariAPI删除&移动 Mapreduce2 History Server,其他服务操作方法类似删除服务:curl -u admin:UnionBigData.Ad.05 -H "X-Requested-By: ambari" -X PUT -d '{"RequestInfo":{"context":"Stop Service"},"Body":{"ServiceInfo":...翻译 2019-07-02 11:36:23 · 394 阅读 · 0 评论 -
ambari_HDP之mapreduce参数调优
参考测试集群ambari_HDP的MapReduce重要配置参数配置及说明。原创 2017-03-29 16:31:41 · 4735 阅读 · 0 评论 -
HIVE创建索引
索引是hive0.7之后才有的功能,创建索引需要评估其合理性,因为创建索引也是要磁盘空间的,维护起来也是需要相应的代价。原创 2017-04-05 09:35:42 · 2170 阅读 · 0 评论 -
Hadoop Shell 常用命令
FS Shell调用文件系统(FS)Shell命令应使用 bin/hadoop fs 的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。原创 2017-07-21 11:08:38 · 5227 阅读 · 0 评论 -
安装ambariHDP后App TimeLine Server无法正常启动
安装好ambariHDP后,各项服务已经启动,但是App TimeLine Server 无法正常启动。原创 2017-06-16 10:20:04 · 7189 阅读 · 1 评论 -
sqoop java.lang.NullPointerException 和 No columns to generate for ClassWriter
running Sqoop: java.lang.NullPointerExceptionSQL command not properly endedjava.io.IOException: No columns to generate for ClassWriter原创 2017-07-31 14:56:14 · 15812 阅读 · 0 评论 -
使用ambari启动Spark Thrift Server时报错:bad substitution
系统信息: centos 6.8final ambari 版本:2.2.1 hdp版本:2.7.1.2.3.2.0-2950 原因: spark on yarn 没有接收到hdp.version 解决方法: 通过ambari管理界面修改MapReduce2 配置: MapReduce2→configs→Advanced→Advanced mapred-site: 修改: mapre原创 2017-04-10 15:41:04 · 12880 阅读 · 5 评论 -
如何在CDH5.12集群中启用Kerberos认证
CDH启用kerberos参考链接: https://www.cloudera.com/documentation/enterprise/5-8-x/topics/security.html原创 2018-02-08 13:09:56 · 15578 阅读 · 1 评论 -
ZooKeeper配置引起Hbase和Kafka启动异常
使用ambari部署的HDP大数据平台,启动Hbase和Kafka的时候出现问题。原创 2018-02-08 10:29:14 · 2158 阅读 · 0 评论 -
CDH5.12.0集群离线安装
CDH是cloudera公司开发的一个快速部署、高效管理Hadoop和其各种组件的一个商业化产品。主要分为两部分,分别为Cloudera Manager和CDH软件包。其中Cloudera Manager负责集群的部署与管理。CDH软件包囊括了hadoop生态圈的安装包,例如hdfs、yarn、hive、spark等等。原创 2018-02-08 11:33:50 · 12812 阅读 · 0 评论 -
Centos 7安装 ambari-agent报错NetUtil.py-[SSL: CERTIFICATE_VERIFY_FAILED]
Centos 7安装 ambari通过Ambari部署系统时,ambari-agent注册失败,在/var/log/ambari-agent的log中可以看到日志显示:ERROR 2018-03-08 15:02:25,223 NetUtil.py:88 - [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl.c:5...原创 2018-03-08 17:08:10 · 5708 阅读 · 0 评论 -
Ranger启动失败后,重新安装遇到MySQL异常
Ranger启动失败后,重新安装启动rangeradmin遇到MySQL异常 启动rangeradmin时报错: SQLException : SQL state: HY000 java.sql.SQLException: Operation CREATE USER failed for ‘rangeradmin’@’%’ ErrorCode: 1396 SQLException ...原创 2018-08-03 16:42:58 · 1638 阅读 · 1 评论 -
ambari安装Ranger启动遇到的异常
启动Ranger KMS Server时报错:1.FileNotFoundException WARNING: Failed to scan [file:/usr/jdk64/jdk1.8.0_131/lib/rt.jar] from classloader hierarchy java.io.FileNotFoundException: /usr/jdk64/jdk1.8....原创 2018-08-03 10:44:51 · 4285 阅读 · 0 评论 -
Ambari快速部署Hadoop大数据环境
Ambari 是什么 Ambari 跟 Hadoop 等开源软件一样,也是 Apache Software Foundation 中的一个项目,并且是顶级项目。原创 2017-02-27 11:36:01 · 10704 阅读 · 6 评论