java转大数据数仓开发

张工是一名程序员，主要做java开发，负责业务接口开发，张工对大数据领域比较感兴趣，想学一些大数据数仓建模，希望以后能够转到大数据开发，薪资福利也会相对好些，可对数仓分层这块一直处于朦胧状态。

对于数仓分层，我是这样的理解，分层重点要关注ods、dwd、dws层，其他的层可以根据业务需要再分层。

了解下数据仓库建模

ODS 层

01、保持数据原貌不做任何修改，可以理解为备份数据。
02、数据采用压缩，减少磁盘存储空间（例如：原始数据大小有 100G，经过压缩处理后，压缩到差不多20G）
03、创建分区表，防止查询数据时后续全表扫描

DWD 层

DWD 层需构建维度模型，一般采用星型模型，呈现的状态一般为星座模型。
维度建模一般按照以下四个步骤：
选择业务过程→声明粒度→确认维度→确认事实
01、选择业务过程
在电商行业中，比较关注的业务有订单业务，用户流失，支付业务，退款业务等，一条业务线对应一张事实表。
02、声明粒度
数据粒度指数据仓库的数据中保存数据的细化程度或综合程度的级别。
声明粒度意味着精确定义事实表中的一行数据表示什么，应该尽可能选择最小粒度，以此来满足业务部提出的各种各样的需求。
典型的粒度声明：
订单中，每个商品项作为下单事实表中的一行，粒度为每次下单
每月的订单次数作为一行，粒度就是每月下单
03、确定维度
维度的主要作用是描述业务是事实，主要表示的是“who，where，when”等信息。
04、确定事实
这里提到的“事实”一词，指的是业务中的度量值，例如订单金额、下单次数等。
在 dwd 层，以业务过程为建模驱动，基于每个具体业务过程的特点，构建最细粒度的
明细层事实表。事实表可做适当的宽表化处理。

DWS 层

统计各个主题对象的当天行为，服务于 DWT 层的主题宽表，以及一些业务明细数据， 应对特殊需求（例如统计用户购买行为，商品复购率等）。
 
模型数据计算逻辑
1.ODS层到DWD层 是对各数据表字段进行清洗、转换、一致性检查的处理计算，其中ODS层数据源一般来源于mysql binlog、mongodb数据源、埋点数据源
 
2.DWD层到DWS层各个数据表数据集成的计算逻辑，从DWD到DWS会根据业务将多个明细数据表的数据进行集成，并做轻度的数据汇总计算，存储到DWS层中。
 3. DWD/DWS到DM层的数据汇总计算逻辑。

以上只是个人的一点看法，由于知识及水平有限,文中错漏之处在所难免,如有不足之处，欢迎纠正，谢谢。

微信公众号：爱开发