spark
玩转程序人生
玩转程序人生 python 大数据 编程交流分享
展开
-
大数据构建数据生态系列之01——拆解架构图
1写在前面, 大数据发展越来越火2 结合业务需求拆解架构图 这里,我们把之前一章已经上过的架构图再贴一次: 先简单的从整体上说一下这个架构图。 从架构图中,我们可以看出来,我们整个数据架构中,需要做的事情很多。 随着数据的流向,从下到上,主要分三层: 第一层是数据收集层,负责基础数据的收集工作; 第二层是数据存储以及处理层,负责数据存储...原创 2018-07-18 09:17:26 · 912 阅读 · 1 评论 -
大数据构建数据生态系列02——与研发的爱恨情仇
1 写在之前 接上一章的架构图,我们知道我们只是起了个头,后续还有待完善的部分。 这一章节暂时不讲,我们在上一章成果的基础上,讲述一下整个数据收集的相关故事,以及期间的一些收获和思考。 主要是和研发团队之间的“爱情火花”。 在数据生态的第一环中,最核心的问题就是基础数据的收集,这是一切的后续数据挖掘、使用的前提。 而说到数据收集,通过埋点的数据收集则又是...原创 2018-07-18 09:32:41 · 380 阅读 · 0 评论 -
大数据——从推荐策略算法到推荐系统,到数据架构,再到产品设计
01 推荐策略以及算法的百花齐放承上,我们讲了最基础的基于内容属性本身的相似关系进行针对物品的推荐,再到基于用户的兴趣属性进行推荐,再过渡到基于协同关系进行推荐,其实这些都算是推荐的策略,说的更技术点就是推荐的算法。 而推荐策略的想象力其实无限的,并不局限于某种固定的策略,只要从业务的角度走的通,其实都是可以的,当然具体的选择以及搭配问题,后面我会讲到。加我的群号大数据: 7...转载 2018-07-18 09:42:55 · 3915 阅读 · 0 评论