- 博客(6)
- 收藏
- 关注
原创 数据仓库之流程
背景分析缘由 - 大部分的互联网公司都需要针对用户的线上访问行为、消费行为、业务行为进行统计分析!以支撑公司的业务运营,提高业务转化率,改善公司运营效果——赚取更大利润!这个需求,可以通过构建一个数仓系统来支撑! - 该数据处理系统可以使用离线计算方式实现,也可以使用实时计算方式实现; 离线:系统化的,计算时间跨度长的,运算量大的任务 实时:对时效要求高的需求数据仓库整...
2019-11-23 21:14:16 630
原创 用户画像之图计算
图计算图计算的核心思想: - 将数据表达成“点”,点和点之间可以通过某种业务含义建立“边” - 然后,我们就可以从点、边上找出各种类型的数据关系:比如连通性;比如最短路径规划;...
2019-11-23 20:21:40 470
原创 小狐瞎扯coalesce与repartition
coalescerepartition如果读取的是hdfs,那么有多少个block,就有多少个partitionspark读取dhfs的文件block步骤1.拿出1-5号5个小文件(也就是5个partition) 分别给3个executor读取(spark调度会以vcore为单位,实际就是5个executor,10个task读10个partition)2.如果3个executor执行...
2019-11-22 11:34:54 217
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人