Spark机器学习
有梦想的人不睡觉121
大数据开发
展开
-
深入理解Spark ML:基于ALS矩阵分解的协同过滤算法与源码分析
原文地址:https://blog.csdn.net/u011239443/article/details/517529041. 引言随着互联网的迅猛发展,为了满足人们在繁多的信息中获取自己需要内容的需求,个性化推荐应用而生。协同过滤推荐是其中运用最为成功的技术之一。其中,基于用户的最近邻法根据相似用户的评分来预测当前用户的评分。然而,在用户数量以及用户评分不足的情况下,该方法存在冷启动和数据稀疏...转载 2018-06-27 18:50:54 · 6816 阅读 · 0 评论 -
扩展Spark ML来构建你自己的模型和变换器类型
尽管Spark ML管道提供了各种各样的算法,你仍可能想要额外的功能,并且不脱离管道模型。在Spark Mllib中,这算不上什么问题,你可以通过RDD的变换来实现你自己的算法,并继续下去。对于Spark ML 管道来说,同样的方法是可行的,但是我们会失去一些管道所具备的优良特性,包括自动执行元算法的能力,例如交叉验证的参数搜索。在本文中,你会从标准的wordcount例子入手(在大数据方面,你是...转载 2018-08-10 10:23:01 · 6503 阅读 · 0 评论