yarn
文章平均质量分 92
weixing_2006
好记性不如烂笔头
展开
-
YARN日志聚合相关参数配置
日志聚合是YARN提供的日志中央化管理功能,它能将运行完成的Container/任务日志上传到HDFS上,从而减轻NodeManager负载,且提供一个中央化存储和分析机制。默认情况下,Container/任务日志存在在各个NodeManager上,如果启用日志聚合功能需要额外的配置。参数配置yarn-site.xml1.yarn.log-aggregation-enable参数说明:是否启用日志聚合功能,日志聚合开启后保存到HDFS上。默认值:false2.yarn.log-aggre转载 2020-06-18 14:59:15 · 488 阅读 · 0 评论 -
hive建模和优化,impala刷新元数据和表
建模1、介绍Hive作为数据仓库,同关系型数据库开发过程类似,都需要先进行建模,所谓建模,就是对表之间指定关系方式。建模在hive中大致分为星型、雪花型和星座型。要对建模深入理解,首先需要对hive数仓中的集中表概念进行界定。hive中的表从形态上分内部表、外部表、桶表、分区表。在数据逻辑上划分为维度表和事实表。维度表等价于我们常说的字典表。事实表就是字典表之外的数据表。1.1 星型多张维...原创 2019-11-25 10:47:42 · 3412 阅读 · 0 评论