![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
数据集市
文章平均质量分 57
歆歆歆歆歆
这个作者很懒,什么都没留下…
展开
-
hive 优化
hive 优化(干货) hive优化一般分为底层优化和sql优化 底层优化 hive 默认引擎为 MR ,涉及优化一般也为MR的优化,一般分为以下部分。 数据倾斜 set hive.groupby.skewindata=true; 小文件合并 是否合并Map输出文件:hive.merge.mapfiles=true(默认) 是否合并Reduce 端输出文件:hive.merge.mapredfiles=false(默认) 合并文件的大小:hive.merge.size.per.task=256100原创 2021-07-19 16:26:46 · 301 阅读 · 0 评论 -
数据集市-金融
数据集市-金融数据源上游系统数据载入上游系统数据质量集市建立明确接口指标单元测试联调测试上线数据验证 数据源 数据源可以为任一业务系统数据,亦可以为行为数据,在这以资产负债系统为例。 上游系统数据载入 一般银行资产负债系统会有多家上游系统,用于本系统的报表报送,本系统产品跑批及为下游系统供数: 明确上游数据规则 ,如增全量,文件到达时间,数据文件类型,数据逻辑是否满足直取规则,若需二次加工如何处理; 明确数据进入方式,明确本集市的数据是否由ods直取,明确是否需要第三方传输工具; 数据由ods直取,配置调原创 2021-07-15 17:12:38 · 412 阅读 · 0 评论