初识sparklyr—电影数据分析

这篇文章是初次使用sparklyr扩展包来进行一些数据分析，对Spark牵扯不是很多。使用的数据是movieLens 100k，这份数据包含943个用户对1680部电影的评分数据，如需获取数据请在文末点击阅读原文。

准备工作

#安装sparklyr包
install.packages("sparklyr")
library(sparklyr)
library(dplyr)
sc <- spark_connect(master = "local")#连接到本地spark

如果你没有安装spark，在安装好sparklyr包之后，右上角这块会出现一个spark的按键，点击之后它就会引导你下载spark，而且自动配置。好了之后我们就可以连接到spark。

连接成功之后，可以在浏览器中输入：http://127.0.0.1:4040，打开之后我们可以看到如下页面。

通过storage，我们可以看到我们已经保存到spark中的数据。如图已经保存了u_data，和u_user。这两个数据是后面导进去的，刚开始的时候里面是空的。

现在开始，我们来一步一步分析这份数据。

探索用户数据