王木头的博客

消费延迟处理

这两个任务需要的资源非常大，由于map和reduce的内存设置是0（cdh默认根据container所需内存量自动分配内存大小），所以在map和reduce每个container所需内存较大（本案例是卡在map阶段），并且由于container数量多，每个节点上都有这样的container。然后需要根据受限资源和任务、数据量来评估大数据集群各参数的配置，做到最优配置，以及可以将任务在时间维度上分散，避免高峰压力，通过种种手段，避免资源不足带来的风险。资源扩容的原因，其实就是没有做好资源规划。

Hbase regionserver频繁挂掉问题处理

h统计hive中所有表的大小和创建时间

通过hive元数据查询库表总条数和总大小

Apache HBase Shell

关于升级

前言这是其附带的HBase版本的官方参考指南。在这里，您可以找到有关HBase主题的权威性文档（指当引用的HBase版本发运时的状态），也可以指向Javadoc或 JIRA中可以找到相关信息的位置。关于本指南本参考指南正在进行中。可以在HBase源代码的_src / main / asciidoc目录中找到本指南的源代码。该参考指南使用AsciiDoc进行了标记，从中生成完成的指南作为“站点”构建目标的一部分。跑步mvn site生成此文档。欢迎对文档进行修改和改进。单击 此链接 可以针对Apa

背景介绍测试通知，hive提交的mr任务卡住一个小时，无法执行。定位问题确定是否是应用程序的问题测试使用的是页面应用提交的任务，先确定是否是应用的问题。在yarn webUI查看，发现任务已经提交到yarn中，处于ACCEPTED状态。——确定应用已经将任务正常提交。确定是否是hive的问题。查看ambari界面hive组件，无报错。在hive客户端执行简单查询命令，show tables；select * from table_name；均正常执行。再执行mr任务的时候，问题复现：selec

现象：ambari界面，第一次安装到达-step9，页面一直显示0%,。查看ambari-server.log的日志发现如下报错：Operating System matching redhat7 could not be found08 Dec 2020 10:58:22,000 WARN [ambari-action-scheduler] ActionScheduler:316 - Exception receivedjava.lang.RuntimeException: org.apach

文章目录Kafka日志参数针对的是消息日志，而操作日志没有相关自动清理，所以需要自己写，如下：配置完成后，需要添加crontabKafka日志参数针对的是消息日志，而操作日志没有相关自动清理，所以需要自己写，如下：#!/usr/bin/env bash# @author Yakir.King-wangyingkai# @date 2020/8/3 20:14# 清除多余日志# 清除规则## 1、保留个数，kafka默认按照小时保存日志，每小时保存一个，约定保留文件个数，默认72个