spark写出分布式的训练算法_基于Spark的分布式推荐系统的设计与实现

摘要：

世界正处于信息科技化时代,全球信息总量飞速增长,但其中所蕴含的价值也越来越大.推荐系统可以依据用户的基本信息及历史行为从海量数据中挖掘出用户所需信息并自动给用户或物品提供个性化推荐服务.如今协同过滤是整个推荐体系中推广最成功和运用最普遍的推荐方法之一,关于协同过滤推荐算法的研究一直处于上升趋势,但是所面临的问题仍然有很多.传统的推荐算法实现过程需要耗费大量的运算时间,时延长,时效性差,已经不能满足当今的商业要求;同时现在采用的大部分推荐算法都存在着数据稀疏和冷启动问题,这都严重影响着推荐结果的准确性.因此针对以上现状,课题将主要从推荐算法的时效性和准确性两方面着手.(1)推荐系统的时效性,对推荐系统所采用的平台进行优化.推荐系统所采用的平台是对数据复杂处理,分析和计算迭代上的性能较优的Spark,在此平台上完成基于als模型推荐算法的并行化,提高数据处理速度;从而使推荐系统耗时更短,用户效果体验更好.(2)推荐系统的准确性,对推荐算法的实现过程进行优化.在spark平台上并行化实现基于als模型的推荐算法.考虑到基于als模型,物品相似性元素缺失和伴随着时间迁移用户兴趣遗忘导致推荐系统准确性过低问题.课题将几种常见的相似性计算进行对比,并在损失函数中融入合适的物品相似性计算来减少隐形因子物品属性信息的丢失,在预测评分中引入兴趣遗忘函数,从而实现实时的准确性较高的推荐.课题采用公开的MovieLens数据集,对比实验结果发现,通过对推荐系统所采用的平台和算法实现方式的优化有效提高了推荐系统的时效性和准确性.

展开