![](https://img-blog.csdnimg.cn/20190918140012416.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
5离线数仓-S级
文章平均质量分 60
大数据业务
大数据驱动AI
多讨论、多实践、多传授!多用心。
展开
-
数仓各层作用
ods同步原始数据,保证数据的完整性。原创 2024-07-02 09:17:35 · 224 阅读 · 0 评论 -
离线数仓调度工具DolphinScheduler_国产
Apache DolphinScheduler是一个分布式、易扩展的可视化DAG工作流任务调度平台。致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用。也采用分布式无中心设计理念,采用分布式无中心设计理念,原创 2024-04-21 14:36:13 · 174 阅读 · 0 评论 -
(学习笔记)数仓建模
加列:为明细表添加四个字段一个字段为拉链的开始日期(默认为用户数据出现的日期),一个为拉链结束日期,一个为第二个段拉链开始日期(默认9999-99-99),一个为第二个段拉链结束日期(默认9999-99-99),当原数据更新时候,原第一个拉链日期不变,第一个拉链结束日期为数据变更日期,第二个日期开始时间为数据更新时间,第二个结束日期不变。:全称Data Warehouse Detail,是数仓明细数据层,对ODS层的数据进行关联,清洗,维度退化(将维度表中维庶数据放入明细表中),转换,主题域建设等操作。原创 2024-06-05 14:42:58 · 648 阅读 · 0 评论 -
(学习笔记)数据基建-元数据管理
简单来说就是描述数据的数据,更直白来说就是描述表名、表制作者、表字段、表生命周期、表存粗等信息的数据。原创 2024-06-05 15:30:14 · 458 阅读 · 0 评论 -
(学习笔记)数据基建-数据指标体系
如果下游血缘存在不是自己的表/报表,需要在相关业务群里说一下/找到下游表owner/报表owner发送通知,让下游owner进行修改,如联系不上需要向owner的leader说明问题,并且让下游表/报表的owner当天回复一下受不受影响,不回复则对方承担问题责任,如果对方不接受修改方案,需要双方约定一下修改内容、修改日期,重定方案。数分/风控团队:与数分/风控协商完成指标共同维护,方便数分/风控使用查询,也方便数分/风控为下游解释指标口径,从而做到双嬴。前端/数平构建平台帮助下游通过可视化方式查询。原创 2024-06-05 15:45:07 · 405 阅读 · 0 评论 -
(学习笔记)数据基建-数据质量
3数据开发:建设相应dwd数据模型进行明细数据存放,并做维度退化,可按照规则种类开设二级业务域(模型为二级分区,分区1为ds(业务日期),分区2为rule (规则)),内容包括规则id规则名称,监控字段1-5,来源表,规则是否触发,规则是否加白,规则上线/变更/下线日期,规则状态,负责人等等。概念:数据质量,意如其名,就是数据的准确性,他是数据仓库的基石,控制好数据质量,是做数据仓库基本要求,也使得下游业务方对数据用的放心。1.现状梳理:对目前现有数据问题,存在隐患的问题进行收集归类,制作规则维表。原创 2024-06-06 15:19:14 · 780 阅读 · 0 评论 -
(学习笔记)数据基建-数据安全
根据查看表的人群、查看的内容(多数使用于门户、报表、对外透出表等场景)来脱敏,例如用户手机号,身份证等数据脱敏,脱敏可在ODS、也可在ADS做,看具体业务场景,例如橘厂在ODS完成脱敏操作。数据是重要的资产,合理地使用能为企业带来巨大的价值,但同时数据安全管控不佳则会对企业造成更大的风险,数据泄露可能会造成业务失信于客户、导致经济损失等影响。S3:非业务核心表 - 敏感数据,其他部门使用存在较低的风险,建议实施较严格技术和管理措施 - 可以对外部分开放,例如部分字段申请、视图开放。原创 2024-06-06 16:20:26 · 566 阅读 · 0 评论 -
(学习笔记)如何评价一个数仓的好坏
数仓评价好坏是对数仓全流程机制是否健全的评价,从技术方面,数据仓库应该具有成本、质量、效率要求,安全方向方面的能力,从业务方面,数据仓库应该支撑业务建设,覆盖尽可能多的业务场景,需要数据时能够及时取到,能满足业务数据化需求。原创 2024-06-02 09:43:47 · 649 阅读 · 0 评论 -
数仓指标体系
数仓指标体系原创 2024-04-11 20:15:27 · 377 阅读 · 0 评论 -
数仓专有名词
比如说订单id,这种量级很大的维度,没必要用一张维度表来进行存储,而我们进行数据查询或者数据过滤的时候又非常需要,所以这种就冗余在事实表里面,这种就叫退化维度,citycode这种我们也会冗余在事实表里面,但是它有对应的维度表,所以它不是退化维度。数据集市(Data Mart),也叫数据市场,数据集市就是满足特定的部门或者用户的需求,按照多维的方式进行存储,包括定义维度、需要计算的指标、维度的层次等,生成面向决策分析需求的数据立方体。从年的维度可以下钻到月的维度、日的维度等。如将超过200斤的称为大胖子。原创 2024-04-11 20:24:16 · 506 阅读 · 0 评论 -
数仓技术选型
数据量大小,业务需求,行业内经验,技术成熟度,开发维护成本,学习成本,总成本预算。集群监控:Zabbix,Prometheus。权限管理:Ranger,Sentry。元数据管理:Atlas。原创 2024-05-04 14:36:36 · 406 阅读 · 3 评论 -
数仓维度建模
数仓维度建模原创 2024-04-12 11:54:40 · 1288 阅读 · 0 评论 -
离线数仓数据导出-hive数据同步到mysql
为方便报表应用使用数据,需将ads各指标的统计结果导出到MySQL数据库中。datax支持hive同步MySQL:仅仅支持hive存储的hdfs文件导出。所以reader选hdfs-reader,writer选mysql-writer。null值 在hive和mysql里的存储格式不一样,需要告诉DataX应该如何转换。原创 2024-04-19 16:58:19 · 952 阅读 · 2 评论 -
DBMS: MySQL (no ver.) Case sensitivity: plain=mixed, delimited=exact [08S01] Communications link fa
原创 2024-04-19 15:13:46 · 886 阅读 · 0 评论 -
离线数仓DWS层
DWS 层为公共汇总层,会进行轻度汇总,粒度比明细数据稍粗,基于 DWD 层上的基础数据,整合汇总成分析某一个主题域的服务数据,一般是宽表。又称数据集市或宽表。在原始明细模型中会存在多个描述事实的维度,如日期、商品类别、卖家等,这时候需要确定根据什么维度聚集,如果只关心商品的交易额情况,那么就可以根据商品维度聚集数据。按照业务划分,如主题域流量、订单、用户等,生成字段比较多的宽表,用于提供后续的业务查询,OLAP 分析,数据分发等。聚集并不需要保持与原始明细粒度数据一样的粒度,聚集只关心所需要查询的维度。原创 2024-04-11 21:39:48 · 800 阅读 · 0 评论 -
dwd_traffic_page_view_inc装载数据很慢
1.加载数据的小文件太多,saprk 加载这些小文件时,需要消耗资源。dwd_traffic_page_view_inc 装载数据很慢。原创 2024-04-10 22:41:27 · 152 阅读 · 0 评论 -
数仓开发环境链接
数仓开发工具datagrip 需要用到JDBC协议链接到Hive,需要启动hiveserver2。property.hive.log.file 指定了日志的位置。创建数据库gmall,并观察是否创建成功。实时监控,再把报错的操作再做一遍。所有用到的环境日志,逐一排查。对新建数据库,进行增删改查。原创 2024-02-29 22:42:37 · 564 阅读 · 0 评论 -
ERROR flume.SinkRunner: Unable to deliver event. Exception follows. org.apache.flume.EventDeliveryEx
flume 增量同步报错。原创 2024-02-02 14:43:20 · 522 阅读 · 0 评论 -
离线数仓同步数据3
业务数据_增量表数据同步原创 2023-09-06 11:12:04 · 559 阅读 · 0 评论 -
离线数仓同步数据2
业务数据_全量表数据同步原创 2023-09-05 21:50:59 · 148 阅读 · 0 评论 -
离线数仓同步数据1
用户行为表数据同步原创 2023-09-05 17:50:18 · 1650 阅读 · 0 评论 -
业务数据模拟/采集
【代码】业务数据模拟/采集。原创 2023-09-05 08:15:54 · 2536 阅读 · 0 评论 -
用户行为数据模拟/采集
3.5.2 集群日志生成脚本。3.5.1 使用说明。原创 2023-09-02 12:16:19 · 392 阅读 · 0 评论 -
配置DataX
【代码】配置DataX。原创 2023-08-28 10:50:25 · 222 阅读 · 0 评论 -
配置Maxwell
链接: maxwells官网原创 2023-08-27 22:40:13 · 549 阅读 · 0 评论 -
配置Flume
配置Flume原创 2023-08-27 15:30:07 · 105 阅读 · 0 评论 -
配置Kafka
配置kafka原创 2023-08-27 15:29:36 · 111 阅读 · 0 评论 -
配置Hive
【代码】配置Hive。原创 2023-08-28 11:51:32 · 550 阅读 · 0 评论 -
配置spark
spark原创 2023-07-16 11:06:07 · 221 阅读 · 0 评论 -
配置MySQL
1)将安装包和JDBC驱动上传到/opt/software,共计6个。2)如果是虚拟机按照如下步骤执行。原创 2023-08-27 21:35:08 · 1338 阅读 · 0 评论 -
配置Zookeeper
配置zoo.cfg文件。ZK 集群启动停止脚本。原创 2023-08-27 15:29:11 · 135 阅读 · 0 评论 -
配置Hadoop_1
大量的配置信息。原创 2023-06-14 14:08:36 · 1107 阅读 · 0 评论 -
配置Hadoop_0
Hadoop配置原创 2023-07-15 10:55:21 · 3909 阅读 · 0 评论