spark
文章平均质量分 72
只会写demo的程序猿
展开
-
数仓设计规范
数据模型设计数据模型基本原则高内聚低耦合核心模型与扩展模型分离公共初处理逻辑下沉成本与性能平衡数据可回滚数据一致性命名清晰易于理解...原创 2022-02-24 22:09:54 · 378 阅读 · 0 评论 -
大数据中台架构以及建设全流程一(Paas层设计)
设计背景当企业发展到一定规模时候有了不同的业务线以及数据规模,因为业务的快速发展。这个时候一些数据问题就会出现。 问题点 1:数据脏乱差,各部门生产线数据重复冗余,还不可:复用用存在数据孤岛 2:数据开发部门的业务来自各部门各产品线,需求不明确,每天业务量繁复,日常工作可能成了sqlboy到处捞数据,而且在业务方面还没有业务部门了解的深入,有点缘木求鱼的意思。 这个时候数据中台也就应运...原创 2021-12-02 14:06:31 · 7486 阅读 · 1 评论 -
记一次线上报错{“exception“:“Illegal pattern component: XXX}
背景:这是一个数据清洗,多表关联处理的程序。之前一直运行良好。突然就报错如下{"exception":"Illegal pattern component: XXXorg.apache.commons.lang3.time.FastDateFormat.parsePattern(FastDateFormat.java:577) at org.apache.commons.lang3.time.FastDateFormat.init(FastDateFormat.java:444) at原创 2021-07-16 17:00:16 · 680 阅读 · 2 评论