java发展邻域_mahout推荐11-探究用户邻域

最新推荐文章于 2021-02-24 09:26:34 发布
最新推荐文章于 2021-02-24 09:26:34 发布
阅读量139 收藏
点赞数
文章标签： java发展邻域
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39948111/article/details/114555409
版权

1、固定大小的用户邻域

package mahout;

import java.io.File;

import java.io.IOException;

import org.apache.mahout.cf.taste.common.TasteException;

import org.apache.mahout.cf.taste.eval.RecommenderBuilder;

import org.apache.mahout.cf.taste.eval.RecommenderEvaluator;

import org.apache.mahout.cf.taste.impl.eval.AverageAbsoluteDifferenceRecommenderEvaluator;

import org.apache.mahout.cf.taste.impl.eval.LoadEvaluator;

import org.apache.mahout.cf.taste.impl.neighborhood.NearestNUserNeighborhood;

import org.apache.mahout.cf.taste.impl.recommender.GenericUserBasedRecommender;

import org.apache.mahout.cf.taste.impl.similarity.PearsonCorrelationSimilarity;

import org.apache.mahout.cf.taste.model.DataModel;

import org.apache.mahout.cf.taste.neighborhood.UserNeighborhood;

import org.apache.mahout.cf.taste.recommender.Recommender;

import org.apache.mahout.cf.taste.similarity.UserSimilarity;

import org.apache.mahout.cf.taste.similarity.precompute.example.GroupLensDataModel;

public class GroupLensDataModelTest {

public static void main(String[] args) throws Exception {

//数据集

DataModel dataModel = new GroupLensDataModel(new File("data/ratings.dat"));

//基于平均值的评估器

RecommenderEvaluator evaluator = new AverageAbsoluteDifferenceRecommenderEvaluator();

//推荐引擎构造器

RecommenderBuilder recommenderBuilder = new RecommenderBuilder() {

public Recommender buildRecommender(DataModel dataModel) throws TasteException {

// TODO Auto-generated method stub

//用户相似度

UserSimilarity userSimilarity = new PearsonCorrelationSimilarity(dataModel);

//用户邻居，固定值100

UserNeighborhood userNeighborhood = new NearestNUserNeighborhood(100, userSimilarity, dataModel);

//基于用户的推荐

return new GenericUserBasedRecommender(dataModel, userNeighborhood, userSimilarity);

}

};

//评估得分

double score = evaluator.evaluate(recommenderBuilder, null, dataModel, 0.95, 0.05);

System.out.println(score);

}

private static void recommend() throws IOException, TasteException {

//使用定制的GrouplensDataModel,如果没有转换数据集成为csv格式的

DataModel dataModel = new GroupLensDataModel(new File(

"data/ratings.dat"));

//皮尔逊相关系数，衡量用户相似度

UserSimilarity userSimilarity = new PearsonCorrelationSimilarity(

dataModel);

//构建用户邻居，100个

UserNeighborhood userNeighborhood = new NearestNUserNeighborhood(100,

userSimilarity, dataModel);

//推荐引擎

Recommender recommender = new GenericUserBasedRecommender(dataModel,

userNeighborhood, userSimilarity);

//运行

LoadEvaluator.runLoad(recommender);

}

}

这里采用的用户邻域为100，同时evaluate的最后一个参数是0.05，意味着仅使用5%的数据进行评估，0.95就是说使用95%的数据来构建要评估的模型，剩下的5%用来做测试。

输出结果：0.8316465777957014

14/08/05 10:14:20 INFO file.FileDataModel: Creating FileDataModel for file C:\Users\ADMINI~1\AppData\Local\Temp\ratings.txt

14/08/05 10:14:20 INFO file.FileDataModel: Reading file info...

14/08/05 10:14:21 INFO file.FileDataModel: Processed 1000000 lines

14/08/05 10:14:23 INFO file.FileDataModel: Processed 2000000 lines

14/08/05 10:14:24 INFO file.FileDataModel: Processed 3000000 lines

14/08/05 10:14:25 INFO file.FileDataModel: Processed 4000000 lines

14/08/05 10:14:27 INFO file.FileDataModel: Processed 5000000 lines

14/08/05 10:14:28 INFO file.FileDataModel: Processed 6000000 lines

14/08/05 10:14:29 INFO file.FileDataModel: Processed 7000000 lines

14/08/05 10:14:30 INFO file.FileDataModel: Processed 8000000 lines

14/08/05 10:14:31 INFO file.FileDataModel: Processed 9000000 lines

14/08/05 10:14:34 INFO file.FileDataModel: Processed 10000000 lines

14/08/05 10:14:34 INFO file.FileDataModel: Read lines: 10000054

14/08/05 10:14:34 INFO model.GenericDataModel: Processed 10000 users

14/08/05 10:14:35 INFO model.GenericDataModel: Processed 20000 users

14/08/05 10:14:35 INFO model.GenericDataModel: Processed 30000 users

14/08/05 10:14:35 INFO model.GenericDataModel: Processed 40000 users

14/08/05 10:14:36 INFO model.GenericDataModel: Processed 50000 users

14/08/05 10:14:39 INFO model.GenericDataModel: Processed 60000 users

14/08/05 10:14:40 INFO model.GenericDataModel: Processed 69878 users

14/08/05 10:14:41 INFO eval.AbstractDifferenceRecommenderEvaluator: Beginning evaluation using 0.95 of GroupLensDataModel

14/08/05 10:14:41 INFO model.GenericDataModel: Processed 3410 users

14/08/05 10:14:42 INFO eval.AbstractDifferenceRecommenderEvaluator: Beginning evaluation of 3120 users

14/08/05 10:14:42 INFO eval.AbstractDifferenceRecommenderEvaluator: Starting timing of 3120 tasks in 4 threads

14/08/05 10:14:42 INFO eval.StatsCallable: Average time per recommendation: 46ms

14/08/05 10:14:42 INFO eval.StatsCallable: Approximate memory used: 311MB / 755MB

14/08/05 10:14:42 INFO eval.StatsCallable: Unable to recommend in 0 cases

14/08/05 10:15:04 INFO eval.StatsCallable: Average time per recommendation: 86ms

14/08/05 10:15:04 INFO eval.StatsCallable: Approximate memory used: 279MB / 639MB

14/08/05 10:15:04 INFO eval.StatsCallable: Unable to recommend in 4540 cases

14/08/05 10:15:25 INFO eval.StatsCallable: Average time per recommendation: 87ms

14/08/05 10:15:25 INFO eval.StatsCallable: Approximate memory used: 303MB / 641MB

14/08/05 10:15:25 INFO eval.StatsCallable: Unable to recommend in 9001 cases

14/08/05 10:15:46 INFO eval.StatsCallable: Average time per recommendation: 86ms

14/08/05 10:15:46 INFO eval.StatsCallable: Approximate memory used: 332MB / 641MB

14/08/05 10:15:46 INFO eval.StatsCallable: Unable to recommend in 13655 cases

14/08/05 10:15:49 INFO eval.AbstractDifferenceRecommenderEvaluator: Evaluation result: 0.8316465777957014

0.8316465777957014

将固定大小的邻域使用10代替100，见userNeighborhood，评估结果为：0.8582162139625891 变大了，评估值越大越不好，意味着选错方向了。

使用500，结果为：0.7558864506703784 这个结果自然比较好。

在真实数据上做一下实验对推荐程序的调优是很有必要的。

2、基于阈值的邻域

类似以我为中心，画个圆，里面的都是我的邻居哎。

new ThresholdUserNeighborhood(0.7,similarity,model);

评分为：0.7949910282938843

14/08/05 10:27:18 INFO file.FileDataModel: Creating FileDataModel for file C:\Users\ADMINI~1\AppData\Local\Temp\ratings.txt

14/08/05 10:27:19 INFO file.FileDataModel: Reading file info...

14/08/05 10:27:20 INFO file.FileDataModel: Processed 1000000 lines

14/08/05 10:27:21 INFO file.FileDataModel: Processed 2000000 lines

14/08/05 10:27:22 INFO file.FileDataModel: Processed 3000000 lines

14/08/05 10:27:23 INFO file.FileDataModel: Processed 4000000 lines

14/08/05 10:27:24 INFO file.FileDataModel: Processed 5000000 lines

14/08/05 10:27:26 INFO file.FileDataModel: Processed 6000000 lines

14/08/05 10:27:27 INFO file.FileDataModel: Processed 7000000 lines

14/08/05 10:27:27 INFO file.FileDataModel: Processed 8000000 lines

14/08/05 10:27:28 INFO file.FileDataModel: Processed 9000000 lines

14/08/05 10:27:29 INFO file.FileDataModel: Processed 10000000 lines

14/08/05 10:27:29 INFO file.FileDataModel: Read lines: 10000054

14/08/05 10:27:32 INFO model.GenericDataModel: Processed 10000 users

14/08/05 10:27:33 INFO model.GenericDataModel: Processed 20000 users

14/08/05 10:27:33 INFO model.GenericDataModel: Processed 30000 users

14/08/05 10:27:34 INFO model.GenericDataModel: Processed 40000 users

14/08/05 10:27:34 INFO model.GenericDataModel: Processed 50000 users

14/08/05 10:27:34 INFO model.GenericDataModel: Processed 60000 users

14/08/05 10:27:35 INFO model.GenericDataModel: Processed 69878 users

14/08/05 10:27:39 INFO eval.AbstractDifferenceRecommenderEvaluator: Beginning evaluation using 0.95 of GroupLensDataModel

14/08/05 10:27:39 INFO model.GenericDataModel: Processed 3530 users

14/08/05 10:27:39 INFO eval.AbstractDifferenceRecommenderEvaluator: Beginning evaluation of 3234 users

14/08/05 10:27:39 INFO eval.AbstractDifferenceRecommenderEvaluator: Starting timing of 3234 tasks in 4 threads

14/08/05 10:27:40 INFO eval.StatsCallable: Average time per recommendation: 94ms

14/08/05 10:27:40 INFO eval.StatsCallable: Approximate memory used: 625MB / 855MB

14/08/05 10:27:40 INFO eval.StatsCallable: Unable to recommend in 134 cases

14/08/05 10:28:03 INFO eval.StatsCallable: Average time per recommendation: 93ms

14/08/05 10:28:03 INFO eval.StatsCallable: Approximate memory used: 374MB / 781MB

14/08/05 10:28:03 INFO eval.StatsCallable: Unable to recommend in 3816 cases

14/08/05 10:28:28 INFO eval.StatsCallable: Average time per recommendation: 96ms

14/08/05 10:28:28 INFO eval.StatsCallable: Approximate memory used: 336MB / 781MB

14/08/05 10:28:28 INFO eval.StatsCallable: Unable to recommend in 7943 cases

14/08/05 10:28:51 INFO eval.StatsCallable: Average time per recommendation: 94ms

14/08/05 10:28:51 INFO eval.StatsCallable: Approximate memory used: 368MB / 664MB

14/08/05 10:28:51 INFO eval.StatsCallable: Unable to recommend in 11574 cases

14/08/05 10:28:57 INFO eval.AbstractDifferenceRecommenderEvaluator: Evaluation result: 0.7949910282938843

0.7949910282938843

使用0.9：结果为：0.8474542269736061 为了得到这个值，机子的cpu满负荷。

使用0.5呢：结果为 0.7409341920894663

数值越小，精度越好。

-- 运行这个，小心你的机子。

weixin_39948111
关注
mahout学习1---推荐引擎的构建1
08-08
本文将探讨推荐引擎的构建过程，重点关注其核心组成部分，包括数据模型、用户相似度、邻域以及推荐器。 首先，**数据模型(Datamodel)** 是推荐引擎的基础，它定义了如何存储和处理用户行为和物品信息。在推荐系统中...
JAVA实现用户协同算法计算用户喜爱相似度
Swallow的博客
05-23 2720
原创文章，转载请注明出处 基于用户的协同过滤算法是指通过分析用户对商品的行为，计算出兴趣相似的用户，并向被推荐用户推荐其兴趣相同的用户感兴趣的商品。 土话说大概就是，我跟你看的东西，基本上一样，那就可以判定我们有相似的喜好，那么我浏览的其他的东西，就可以推荐给你 我记录用户的浏览行为，并将用户对于每个商品的浏览行为的评分赋值为1.0。浏览1次为1分，多次浏览分值能够累加，通过皮尔逊公式计算用户喜爱...
创建一个推荐程序
baalhuo的博客
10-18 1816
本文介绍推荐程序的简单创建与常用接口/类的简单介绍，深入学习请参考文中的扩展链接与mahout官网。 1.输入文件item.csv 数据格式：用户ID、物品ID、偏好值 1,101,5.0 1,102,3.0 1,103,2.5 2,101,2.0 2,102,2.5 2,103,5.0 2,104,2.0 3,101,2.5 3,104,4.0 3,105,4.5 3,107,5.
java 协同过滤算法_基于用户的协同过滤算法(Java实现或R语言实现)
weixin_35203943的博客
02-12 2641
协同过滤的步骤是：创建数据模型 —> 用户相似度算法 —>用户近邻算法 —>推荐算法。基于用户的协同过滤算法在Mahout库中已经模块化了，通过4个模块进行统一的方法调用。首先，创建数据模型(DataModel)，然后定义用户的相似度算法(UserSimilarity)，接下来定义用户近邻算法(UserNeighborhood )，最后调用推荐算法(Recommender)完成计...
mahout 使用grouplens数据集定制datamodel以及评估
tangtang5156的专栏
11-20 2239
在grouplens官网上下载数据集ml-10m。有1000万条记录。
mahout推荐入门之评估GroupLens数据集
xiao_jun_0820的专栏
12-24 3213
前面都是在一个非常小的测试数据集上进行推荐评估，现在我们下载一个真实的数据集来进行评估。 在http://www.grouplens.org/node/73上找到并下载ml-100k.zip,解压在其中找到ua.base文件作为我们的评估数据集。这是一个制表符分隔的文件，对于FileDataModel同样适合装载，包括我们前面用到的逗号分隔符的文件也可以。这个数据集中有100000个偏好值，相对
RecommendationByMahout:1.我们将Movielens数据集用于我们的项目，并转换数据模型的数据形式。 2.使用几种不同的算法来计算用户或项目中的相似度。 3对于基于用户的方法，我们需要进行邻域计算。 4使用基于用户的CF和基于项目的CF进行推荐。 5设计一个评估器以比较不同方法的结果
05-20
推荐方式 我们将Movielens数据集用于我们的项目，并转换数据模型的数据形式。... 3对于基于用户的方法，我们需要进行邻域计算。 4使用基于用户的CF和基于项目的CF进行推荐。 5设计一个评估器，以比较不同方法的结果。
KNearestNeighbor:k-最近邻分类器
07-02
在Java中实现KNN，可以使用各种机器学习库，如Weka、Apache Mahout或自行编写代码。Weka是一个强大的数据挖掘工具，提供了多种机器学习算法的实现，包括KNN。Apache Mahout则是一个专注于大规模机器学习的库，也提供...
GroupLens_MovieLens数据集（完整版含三个数据量文件）
03-18
国内下载，网速更快 官网下载地址：http://grouplens.org/datasets/movielens/ 三个文件数据简介如下： MovieLens 100k 100,000 ratings from 1000 users on 1700 movies. MovieLens 1M 1 million ratings from 6000 users on 4000 movies. MovieLens 10M 10 million ratings and 100,000 tag applications applied to 10,000 movies by 72,000 users.
基于Mahout的电影推荐系统
04-11
博文地址 http://blog.csdn.net/huhui_bj/article/details/8596388 这是这篇博文的工程代码，是MyEclipse的工程文件。下载后解压缩，可以直接导入MyEclipse中运行。 由于原工程开发的时候是在MyEclipse中引用mahout的jar包，所以这个压缩文件并没有相关的jar文件，故运行此项目之前需要做的事请，是需要导入mahout的开发包。
java similarity_java 字符串相似度算法
weixin_28406969的博客
02-24 826
package com.miaodi.api.util;public class SimilarityRatioUtils {/*** 莱茵斯坦距离** @param str* @param target* @return*/public static int levenshiteinDistance(String str, String target) {int s = str.length()...
基于用户的协同过滤推荐算法java实现（UserCF）
热门推荐
u011514514的专栏
05-25 2万+
UserCF的核心思想即为根据用户数据模拟向量相似度，我们根据这个相似度，来找出指定用户的相似用户，然后将相似用户买过的而指定用户没有买的东西推荐给指定用户，推荐度的计算也是结合了相似用户与指定用户的相似度累加。注意这里我们默认是用户的隐反馈行为，所以每一个物品的影响因子默认为1。
基于用户的协同过滤算法和基于物品的协同过滤算法之java实现
渣渣
01-25 1万+
最近lz在研究推荐系统，对利用基于协同过滤算法来实现推荐非常感兴趣，因此，就自学了这一方面的内容，并且看了《推荐系统实践》一书，对这方面的理解也进了一步。首先协同过滤算法在1992年被提出来，最初的设想是，当你去要看电影时，不知道要看哪一部，此时你可能会去询问你的朋友，关于这方面的问题，因为往往你的朋友在这一方面和你的兴趣相似，所以我们可以通过与你具有相似兴趣的朋友喜欢的电影入手来通过他们来给你推
mahout推荐10-尝试GroupLens数据集
weixin_30578677的博客
08-04 129
数据集下载地址：http://grouplens.org/datasets/movielens/ 之前用的是100K的，现在需要下载MovieLens 10M,使用里面的ratings.dat 前提：因为文件不符合mahout要求的文件输入格式，需要进行转换，但是example里提供了一个解析这个文件的类GrouplensDataModel，所以直接用了。 package mahout; ...
Mahout对于GroupLens数据定制的推荐引擎
杨鑫newlife的专栏
05-11 1629
Mahout对于GroupLens数据定制的推荐引擎
Mahout对于定制的GroupLens推荐进行评估
杨鑫newlife的专栏
05-12 1713
Mahout对于定制的GroupLens推荐进行评估
Mahout协同过滤
爱偷吃香蕉的萌猴子
01-20 5594
Mahout协同过滤1.Mahout是什么Mahout是一个算法库，集成了很多算法 Apache Mahout是Apache Software Foundation(ASF)旗下的一个开源项目，提供一些可拓展的机器学习领域经典算法的实现， 旨在帮助开发人员更加方便快捷地创建智能应用程序 Mahout项目目前已经有了多个公共发行版本。Mahout包含许多实现，包括聚类、分类、推荐过滤、频繁子项目挖掘
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值