spark个性化课程推荐系统

个性化推荐系统

实现该系统主要是使用的编程语言主要是R，然后配合css在样式上进行一定优化，使用shiny开发的一款web程序，主要实现的核心功能是基于spark的ALS算法的课程个性化推荐系统。首页界面如下图所示：

该系统中的所有课程名称，课程图片以及课程链接均从百度传课爬取进行汇总得到的，因此点击每个图片均可以跳转至该课程在百度传课的页面。

该系统中实现的主要功能有：

首页推荐。

课程搜索。

课程分类。

个性化推荐。

热点分析。

首页推荐

当一个新用户或未登录的用户进入到该学习平台时，系统无法得知用户的具体信息，因此对用户的兴趣爱好还一无所知，所以无法使用常规的推荐算法进行推荐。一般在这个时候，只是向用户推荐那些普遍反映比较好的物品之前。面对这种情况，该项目通过Web日志分析，提取浏览次数较多的课程在首页进行推荐。
首页推荐是从预处理好的数据中提取用户访问的课程ID，然后统计这些课程ID出现的次数，根据出现的次数以降续进行排序，向用户推荐最热门，也是访问次数最多的课程。

课程搜索

搜索功能可以帮助用户快速查找到所有与搜索关键字相关的课程，这些课程名称数据是使用R语言从Web日志中提取出来的，因此可以搜索出所有存在于Web日志中的课程。该搜索引擎是基于正则表达式来完成。通过grepl函数在课程数据中的课程名中进行正则表达式匹配，可以搜索到所有包含关键字的