自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(3)
  • 资源 (2)
  • 收藏
  • 关注

原创 长表开发模式样例

三段式开发:一、开头====step:0====drop table if exists platform_temp.sr_dw_commodity_item_info_base_${dt};create table platform_temp.sr_dw_commodity_item_info_base_${dt}( `commodity_id` bigint, `attr_k...

2020-01-01 21:49:54 112

原创 数据仓库模型分层

层级 细分 建模方法 说明 ODS 和业务表保持结构一致 同步业务源数据到数仓 DW 实体关系模型 类三范式和雪花模型建模 规划主题域、整合实体和关系; 规范化表名、字段名、字段备注等; 清洗脏数据; 生成通用字典表(地理、时间等); 包含所有业务数据、历史数据 ...

2020-01-01 21:44:01 850

原创 数据仓库建模方法 - 长表模式系统实践

* 数据仓库构建难点:1.主题的准确划分,需要经常进行表的整合,有些表因为别人使用而无法废弃,表的数量越来越多2.数据库每个主题都有多张表,对使用方需要维护一个表说明清单,查询指标需要依赖额外的工具平台(会查到很多非自身业务的无效信息)3.不断增加的指标造成表的代码逻辑不断增大,关联表不断增加,性能下降,维护难度增加4.多层次的模型,导致每增加一个指标都需要在多个层次的表中同步维护,人力成...

2020-01-01 21:40:01 265

hive数据倾斜问题总结笔记

总结了hive中数据处理发生的倾斜问题,不同的原因对应不同的解决方案,比较具体可实操的方法

2018-07-22

管理组织能力

主要描述了管理工作中,管理者如何有效的沟通和协调资源

2018-07-22

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除