Hive运行Mapreduce 中 Map 生成数量分析 背景通常在执行HIVE sql，都会控制map 、reduce 个数在一个合理的范围，避免过多的资源浪费。由于hadoop 的每个任务在初始化是都需要一定时间，因此理想状态每个map 执行时间至少超过一分钟。一、input.format查看集群hive 默认hive> set hive.input.format;hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat一般常见的inputformat
Flume 监控部署 FLume监控部署— Flume_exporter文章目录FLume监控部署--- Flume_exporter前言一、JSON Reporting 设置二、flume_exporter 安装1.flume_exporter下载2.编译2.1 安装go 环境2.2、make build3、启动flume_export4、验证三、添加进Prometheus四、Grafana 展示前言Flume提供了四种监控方式：JMX Reporting、Ganglia Reporting、JSON Report
关注
