推荐算法
主要Spark MLLib机器学习的使用方法
尼克不可
有事联系qq1439952134
展开
-
自定义代码实现UserCF——基于用户的协同过滤算法
一、什么是基于用户协同过滤算法我觉得概念讲高大上了,并没有什么用,反而还难以理解。我就用通俗的语言来描述一下这个算法的逻辑吧。这个算法的核心就是这样的:当前如果有一个用户 A 他正在等待被推荐,这时我们就会找出平时的行为和 A 相似的用户 B ,然后我们再讲用户 B 在意或者感兴趣的且 A 还没浏览过的商品推荐给 A ;这就是基于用户的协同过滤算法。二、如何计算相似度在前面我们了解到了UserCF的算法逻辑了之后,可能你会发现概念中有一个很重要的点就是,计算与A相似的用户,我们用什么一个标准来衡原创 2020-06-05 11:32:35 · 1245 阅读 · 0 评论 -
StumbleuponAnalysis--逻辑回归二元分类
Spark MLlib 下的逻辑回归二元分类训练模型导入必要的包import numpy as npimport pysparkfrom matplotlib import pyplot as pltfrom pyspark.mllib.classification import LogisticRegressionWithSGDfrom pyspark.mllib.featur...原创 2020-04-11 15:13:06 · 669 阅读 · 0 评论 -
Spark Mllib 下的决策树二元分类 —— 网站分类(2)
模型评估在上一章节的末尾我们提到过模型的评估,那时只是简单的求了一下百分比,那种方式只能粗略的反映模型的准确率,针对二元分类算法,我们有AUC(Area under the Curve of ROC)即ROC曲线下的面积来评估模型的好坏在计算AUC之前应该先理解下面的几个概念:/真假阳TPFP阴TNFN真阳性 True Positives ( TP ...原创 2020-04-09 19:54:33 · 659 阅读 · 0 评论 -
Spark Mllib 下的决策树二元分类 —— 网站分类(1)
前面一篇文章说了一下基于spark下的协同过滤算法的实现,这篇文章就来讲一下决策树二元分类吧,这个算法呢主要运用于产品的分类,就好比你要给某人推荐一本书,首先你自己要知道这些书的类型吧,其次你还需要知道你要推荐的这个人他喜欢什么类型,只有书籍的类型和人的喜好匹配上了,这样才能达到推荐的目的;正是在这种场景下就需要我们进行对产品的分类,当然我们人可以很容易的就判断某本书籍是属于什么类型的,但是对于...原创 2020-04-07 17:42:22 · 1128 阅读 · 0 评论 -
Spark自带的交替最小二乘法(ALS) 推荐算法实践
前言:先简单介绍一下常见的推荐算法:Algorithmdescription基于关系型规则的推荐 (Association Rule)• 消费者购买产品A, 那么他有多大机会购买产品 B • 购物车分析 啤酒和尿布)基于内容的推荐(Content-based)• 分析网页内容自动分类,再将用户自动分类• 将新进已分类的网页推荐给感兴趣的用户人口统计式的推荐(...原创 2020-04-06 15:24:50 · 743 阅读 · 0 评论