Spark
古巴与八股
未来的相视一笑 只因曾经的全然相爱
展开
-
spark2.2.0 SBT配置
name := "Spark1119"version := "1.0"scalaVersion := "2.11.11"libraryDependencies ++= Seq( "org.apache.spark" %% "spark-core" % "2.2.0")libraryDependencies += "org.apache.spark" % "spark-stre原创 2017-11-19 11:55:27 · 2012 阅读 · 0 评论 -
Spark实现 集体智慧编程 第二章电影推荐
集体智慧编程中的电影推荐算法主要分两步:1. 通过影评者对看多的相同电影的评分,计算影评者两两之间的兴趣相似度2. 根据影评者之间的相似度和对电影的评分,为其他影评者没看过的电影提供推荐指数,推荐指数为 相似度×电影评分具体细节还是从代码中体会比较好:package PCI2import org.apache.spark.sql.SparkSessionobject Rec原创 2017-11-20 20:22:12 · 510 阅读 · 0 评论 -
Spark实现之 查找共同好友
输入:邻接表100, 200 300 400 500 600200, 100 300 400300, 100 200 400 500400, 100 200 300500, 100 300600, 100第一列表示用户,后面的表示用户的好友。需求:查找两两用户的共同好友。思路:1、key为两两用户,value为其中一个用户的所有好友 2、求两个用户所原创 2018-01-07 22:03:33 · 3061 阅读 · 1 评论 -
Spark实现之 好友推荐
网上好多好推荐之类的博客都是基于二度好友的推荐,下面介绍基于邻接表的好友推荐的spark实现。输入: 1 2,3,4,5,6,7,8 2 1,3,4,5,7 3 1,2 4 1,2,6 5 1,2 6 1,4 7 1,2 8 1 第一列表示用户,后面的表示用户的所有好友。需求:找出用户好友的好友原创 2018-01-07 23:12:29 · 2696 阅读 · 0 评论