CarbonDioxide12138的博客

【代码】k8s集群统计实际pod request、limit、实际资源使用率。

Ambari 报错系统版本不一致

修复edits文件不一致导致的无法checkpoint问题

快速提高磁盘利用率，应付检查

hive 事务表中旧base文件无法删除

k8s中的hbase 数据不停机迁移到外部集群

Ambari 2.7之后，TezUI默认不随集群一起部署了，当Tez任务有异常时想定位sql非常麻烦，每次部署的时候解决了问题，过段时间又忘了，手动记录一下吧。

Hbase2 通过hbck2重建hbase_meta表

清理hive脏数据

Ambari 启用HDFS HA失败回滚

初步就这么多字段，后期再完善，随时更新吧

从头开发一个大数据管理平台-Mybari（一）背景功能分析技术选型功能特色时间安排未来演进下一篇背景因为众所周知的原因，cloudera和hortonworks两家巨头决定不再继续卷下去了，要开始联手割用户的韭菜了。于是就带来了一个问题，还要不要继续使用hdp或者cdh呢？cdh依然有着100个节点的限制，hdp也不再更新。开源大数据组件的新特性使用不上，还得提心吊胆的怕接收到对方的律师函，真是够了，虽然各个大厂都有自己的大数据平台，但是目前都没有开源出来，现状暂时还能用，但未雨绸缪嘛，管理平台毕竟是

目录环境信息参考资料配置步骤测试环境信息Ambari 2.6.1+HDP 2.6.5(hive 单独升级到了2.3.2)参考资料https://cwiki.apache.org/confluence/display/Hive/Hive+on+Spark:+Getting+Started#HiveonSpark:GettingStarted-ConfiguringHive.https://stackoverflow.com/questions/55422935/hive-on-spark-error

有时候因为网络端口活着其他限制原因，我们没办法直接访问ambari web ui的页面进行操作，这时候我们可以在能访问ambari server的linux服务器上执行curl命令来管理ambari集群参考链接: https://github.com/apache/ambari/blob/trunk/ambari-server/docs/api/v1/index.md#resources.获取集群名称curl -u username:password -H "X-Requested-By: amb

在启用了Kerberos的ambari集群上添加组件背景步骤1 .修复安装服务时卡在install pending的异常2.添加服务3.分发keytab4.重启已添加的服务5.修改yarn队列配置文件 fair-scheduler.xml背景有一个项目的ambari集群启用了Kerberos认证，总共有24台机器，只有5台机器部署了NodeManger，可用资源只有220G，60核，高峰期业务排队时间较长，同时其他机器资源利用率低，业主希望在所有机器上都部署上yarn，提供作业并行度。步骤1 .修复

添加服务后ranger无法启动，有SSL警告WARN: Establishing SSL connection without server's identity verification is not recommended. According to MySQL 5.5.45+, 5.6.26+ and 5.7.6+ requirements SSL connection must be established by default if explicit option isn't set. .

背景: 通过ambari安装kafka之后，两台broker能正常启动，一台无法正常启动知识介绍：broker id是broker的唯一标识，不能和其他broker冲突在kafka有两种配置方式broker.id的方式 1.手动指定broker.id=1001 2.通过配置 broker.id.generation.enable=true，让服务器自动生成 生成逻辑如下： a.获取reserved.broker.max.id的值（默认为1

在升级Hbase2.2.7之后，ATSv2内置的单点hbase因为版本问题，无法启动，需要修改配置使用我们部署的hbase取代内置的hbase参考https://docs.cloudera.com/HDPDocuments/HDP3/HDP-3.1.0/data-operating-system/content/configure_hbase_for_timeline_service_2.0.html解决步骤：在yarn高级配置中的yarn-hbase-env中，修改use_external_hb

参考自https://community.cloudera.com/t5/Support-Questions/UDF-reflect-is-not-allowed-beeline/m-p/155072打开AmbariUI打开Hive 配置页，进入custom hive-site.xml添加配置：hive.server2.builtin.udf.blacklist=empyt_blacklist(随意给任何不需要用的udf值)重启hiveserver2...

HDP3.1中HBase从2.0.6升级到2.2.7下载解压HBase 二进制包，上传至http服务器上，下载地址https://www.apache.org/dyn/closer.lua/hbase/2.2.7/hbase-2.2.7-bin.tar.gz停止所有master节点，包括standby master在ambari-web中修改hbase 高级设置中的custom hbase-site.xml，添加配置hbase.procedure.upgrade-to-2-2=true（重要，