项目
文章平均质量分 97
项目
spark man
crazy for coding
展开
-
推荐系统的基础算法和企业级设计
推荐系统的基础算法和企业级设计推荐系统介绍推荐系统的技术选型和基础数据2.1 技术选取2.2 数据简介算法讨论基于统计学的推荐算法LFM算法实时推荐算法 推荐系统介绍 在互联网时代,为了能够给用户良好的体验并且增大用户的留存率,推荐系统应运而生。 简单的推荐系统就是依据统计的推荐,也就是说,这与用户无关,每个人的界面看到的东西都是一样的。比如电商中Hot的商品,或者电影观看网站的Top N的电影。只要能够获得所有用户的够买或者评分数据,我们就能够做出统计推荐。 另一部分的推荐则是个性化推荐,每个用户推到的东原创 2021-10-15 09:57:29 · 422 阅读 · 0 评论 -
电商数仓简介
数仓是为决策用的,它的架构逻辑十分严密。 数仓分区ods层dwd与dim层事务型事实表周期型事实表累计型快照事实表dws层dwt层ads层用户行为路径分析漏斗模型留存用户 ods层 数仓是分层的。 ods层是直接从hdfs拿数据,不做任何修改,只是添加了时间分区。 添加时间分区后,方便后续的查询和管理。 那hdfs的原始数据从哪里来呢?如果是业务数据,那就是从mysql用sqoop导进来的,导入的时候就会使用压缩(比如LZO压缩)。mysql有什么表,hdfs就对应有什么表。如果是日志数据,那就从文件导入原创 2021-10-14 17:41:10 · 1246 阅读 · 0 评论