- 博客(6)
- 收藏
- 关注
RSS订阅原创 数据仓库之流程
背景分析缘由 - 大部分的互联网公司都需要针对用户的线上访问行为、消费行为、业务行为进行统计分析！以支撑公司的业务运营，提高业务转化率，改善公司运营效果——赚取更大利润！这个需求，可以通过构建一个数仓系统来支撑！ - 该数据处理系统可以使用离线计算方式实现，也可以使用实时计算方式实现； 离线：系统化的，计算时间跨度长的，运算量大的任务 实时：对时效要求高的需求数据仓库整...
2019-11-23 21:14:16
615
原创 用户画像之图计算
图计算图计算的核心思想： - 将数据表达成“点”，点和点之间可以通过某种业务含义建立“边” - 然后，我们就可以从点、边上找出各种类型的数据关系：比如连通性；比如最短路径规划；...
2019-11-23 20:21:40
459
原创 小狐瞎扯coalesce与repartition
coalescerepartition如果读取的是hdfs，那么有多少个block，就有多少个partitionspark读取dhfs的文件block步骤1.拿出1-5号5个小文件（也就是5个partition） 分别给3个executor读取（spark调度会以vcore为单位，实际就是5个executor，10个task读10个partition）2.如果3个executor执行...
2019-11-22 11:34:54
205
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人