mahout0.8 构建推荐图书系统(dataguru mahout 第二周作业)

最新推荐文章于 2021-02-26 14:21:33 发布
最新推荐文章于 2021-02-26 14:21:33 发布
阅读量2.5k 收藏 2
点赞数
分类专栏： 大数据 文章标签： mahout dataguru
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/myboyliu2007/article/details/21038231
版权

书面作业 
1. 用Maven搭建Mahout的开发环境，并完成PPT 26页，最简单的例子。要求有过程说明和截图。

1.1开发环境

– Win7 64bit

– Java 1.7.0_51

– Maven-3.2.1

–myEclipse2013 SR

– Mahout-0.8

–        Hadoop-2.2.0

1.2 用Maven构建Mahout开发环境

1.2.1 用Maven创建一个标准化的Java项目

D:\MyEclipse Professional\java>cd D:\MyEclipse Professional\myMahout

 

D:\MyEclipse Professional\myMahout>mvn archetype:generate-DarchetypeGroupId=org

.apache.maven.archetypes -DgroupId=org.conan.mymahout-DartifactId=myMahout -Dpa

ckageName=org.conan.mymahout -Dversion=1.0-SNAPSHOT-DinteractiveMode=false

[INFO] Scanning for projects...

[INFO]

[INFO] Using the builderorg.apache.maven.lifecycle.internal.builder.singlethrea

ded.SingleThreadedBuilder with a thread count of 1

[INFO]

[INFO]------------------------------------------------------------------------

[INFO] Building Maven Stub Project (No POM) 1

[INFO]------------------------------------------------------------------------

[INFO]

[INFO] >>> maven-archetype-plugin:2.2:generate(default-cli) @ standalone-pom >>

> 

[INFO]

[INFO] <<< maven-archetype-plugin:2.2:generate(default-cli) @ standalone-pom <<

< 

[INFO]

[INFO] --- maven-archetype-plugin:2.2:generate (default-cli) @standalone-pom --

-

[INFO] Generating project in Batch mode

[INFO] No archetype defined. Using maven-archetype-quickstart(org.apache.maven.

archetypes:maven-archetype-quickstart:1.0)

[INFO]-------------------------------------------------------------------------

---

[INFO] Using following parameters for creating project from Old(1.x) Archetype:

 maven-archetype-quickstart:1.0

[INFO]-------------------------------------------------------------------------

---

[INFO] Parameter: groupId, Value: org.conan.mymahout

[INFO] Parameter: packageName, Value: org.conan.mymahout

[INFO] Parameter: package, Value: org.conan.mymahout

[INFO] Parameter: artifactId, Value: myMahout

[INFO] Parameter: basedir, Value: D:\MyEclipseProfessional\myMahout

[INFO] Parameter: version, Value: 1.0-SNAPSHOT

[INFO] project created from Old (1.x) Archetype in dir:D:\MyEclipse Professiona

l\myMahout\myMahout

[INFO] ------------------------------------------------------------------------

[INFO] BUILD SUCCESS

[INFO]------------------------------------------------------------------------

[INFO] Total time: 02:29 min

[INFO] Finished at: 2014-03-10T21:12:36+08:00

[INFO] Final Memory: 16M/108M

[INFO]------------------------------------------------------------------------

1.2.3 导入项目到eclipse

1.2.4 增加mahout依赖，修改pom.xml

<projectxmlns="http://maven.apache.org/POM/4.0.0"xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"

    xsi:schemaLocation="http://maven.apache.org/POM/4.0.0http://maven.apache.org/maven-v4_0_0.xsd">

    <modelVersion>4.0.0</modelVersion>

    <groupId>org.conan.mymahout</groupId>

    <artifactId>myMahout</artifactId>

    <packaging>jar</packaging>

    <version>1.0-SNAPSHOT</version>

    <name>myMahout</name>

    <url>http://maven.apache.org</url>

    <properties>

        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>

        <mahout.version>0.8</mahout.version>

    </properties>

 

    <dependencies>

        <dependency>

            <groupId>org.apache.mahout</groupId>

            <artifactId>mahout-core</artifactId>

            <version>${mahout.version}</version>

        </dependency>

        <dependency>

            <groupId>org.apache.mahout</groupId>

            <artifactId>mahout-integration</artifactId>

            <version>${mahout.version}</version>

            <exclusions>

                <exclusion>

                    <groupId>org.mortbay.jetty</groupId>

                    <artifactId>jetty</artifactId>

                </exclusion>

                <exclusion>

                    <groupId>org.apache.cassandra</groupId>

                    <artifactId>cassandra-all</artifactId>

                </exclusion>

                <exclusion>

                    <groupId>me.prettyprint</groupId>

                    <artifactId>hector-core</artifactId>

                </exclusion>

            </exclusions>

        </dependency>

    </dependencies>

</project>

 

1.2.4 下载依赖

D:\MyEclipse Professional\myMahout\myMahout>mvn clean install

[INFO] Scanning for projects...

[INFO]

[INFO] Using the builderorg.apache.maven.lifecycle.internal.builder.singlethrea

ded.SingleThreadedBuilder with a thread count of 1

[INFO]

[INFO]------------------------------------------------------------------------

[INFO] Building myMahout 1.0-SNAPSHOT

[INFO]------------------------------------------------------------------------

[INFO]

[INFO] --- maven-clean-plugin:2.5:clean (default-clean) @ myMahout---

[INFO]

[INFO] --- maven-resources-plugin:2.6:resources (default-resources)@ myMahout -

--

[INFO] Using 'UTF-8' encoding to copy filtered resources.

[INFO] skip non existing resourceDirectory D:\MyEclipseProfessional\myMahout\my

Mahout\src\main\resources

[INFO]

[INFO] --- maven-compiler-plugin:2.5.1:compile(default-compile) @ myMahout ---

[INFO] Compiling 1 source file to D:\MyEclipseProfessional\myMahout\myMahout\ta

rget\classes

[INFO]

[INFO] --- maven-resources-plugin:2.6:testResources(default-testResources) @ my

Mahout ---

[INFO] Using 'UTF-8' encoding to copy filtered resources.

[INFO] skip non existing resourceDirectory D:\MyEclipseProfessional\myMahout\my

Mahout\src\test\resources

[INFO]

[INFO] --- maven-compiler-plugin:2.5.1:testCompile(default-testCompile) @ myMah

out ---

[INFO] Compiling 1 source file to D:\MyEclipseProfessional\myMahout\myMahout\ta

rget\test-classes

[INFO]

[INFO] --- maven-surefire-plugin:2.12.4:test(default-test) @ myMahout ---

[INFO] Surefire report directory: D:\MyEclipseProfessional\myMahout\myMahout\ta

rget\surefire-reports

Downloading:http://repo.maven.apache.org/maven2/org/apache/maven/surefire/suref

ire-junit4/2.12.4/surefire-junit4-2.12.4.pom

Downloaded:http://repo.maven.apache.org/maven2/org/apache/maven/surefire/surefi

re-junit4/2.12.4/surefire-junit4-2.12.4.pom(3 KB at 0.5 KB/sec)

Downloading:http://repo.maven.apache.org/maven2/org/apache/maven/surefire/suref

ire-providers/2.12.4/surefire-providers-2.12.4.pom

Downloaded:http://repo.maven.apache.org/maven2/org/apache/maven/surefire/surefi

re-providers/2.12.4/surefire-providers-2.12.4.pom(3 KB at 3.1 KB/sec)

Downloading:http://repo.maven.apache.org/maven2/org/apache/maven/surefire/suref

ire-junit4/2.12.4/surefire-junit4-2.12.4.jar

Downloaded:http://repo.maven.apache.org/maven2/org/apache/maven/surefire/surefi

re-junit4/2.12.4/surefire-junit4-2.12.4.jar(37 KB at 16.2 KB/sec)

 

-------------------------------------------------------

 T E S T S

-------------------------------------------------------

Running org.conan.mymahout.AppTest

Tests run: 1, Failures: 0, Errors: 0, Skipped: 0, Time elapsed:0.007 sec

 

Results :

 

Tests run: 1, Failures: 0, Errors: 0, Skipped: 0

 

[INFO]

[INFO] --- maven-jar-plugin:2.4:jar (default-jar) @ myMahout ---

[INFO] Building jar: D:\MyEclipseProfessional\myMahout\myMahout\target\myMahout

-1.0-SNAPSHOT.jar

[INFO]

[INFO] --- maven-install-plugin:2.4:install (default-install) @myMahout ---

[INFO] Installing D:\MyEclipseProfessional\myMahout\myMahout\target\myMahout-1.

0-SNAPSHOT.jar toC:\Users\Administrator\.m2\repository\org\conan\mymahout\myMah

out\1.0-SNAPSHOT\myMahout-1.0-SNAPSHOT.jar

[INFO] Installing D:\MyEclipseProfessional\myMahout\myMahout\pom.xml to C:\User

s\Administrator\.m2\repository\org\conan\mymahout\myMahout\1.0-SNAPSHOT\myMahout

-1.0-SNAPSHOT.pom

[INFO] ------------------------------------------------------------------------

[INFO] BUILD SUCCESS

[INFO]------------------------------------------------------------------------

[INFO] Total time: 13.173 s

[INFO] Finished at: 2014-03-10T21:28:56+08:00

[INFO] Final Memory: 24M/178M

[INFO]------------------------------------------------------------------------

D:\MyEclipse Professional\myMahout\myMahout>

在eclipse中刷新项目：


1.3 用Mahout实现协同过滤userCF


2. 用案例的数据集，基于Mahout，任选一种算法，对任意一个女性用户进行协同过滤推荐，并解释推荐结果是否合理，解释过程可以写成一文档说明。

控制台输出：只截取部分结果：

userEuclidean       =>uid:163,(279,5.500000)

itemEuclidean      =>uid:163,(374,9.454545)(264,9.000000)(852,8.927536)

userEuclideanNoPref=>uid:163,(279,2.000000)(2,1.000000)(415,1.000000)

itemEuclideanNoPref=>uid:163,(138,5.150000)(246,4.092857)(288,3.833333)我们查看uid=163的用户推荐信息：推荐了138。然后我们看看图书138评分比较高的都有哪些用户：

userid

bookid

score

sex

age

152

138

8

F

26

172

138

4

F

56

 

其中152用户对973图书的评分很高。

userid

bookid

score

sex

age

152

973

8

F

26

163

973

9

F

32

所以是合理的。

 


3. 接第2题，增加过滤条件，排除男性，只保留对女性用户的推荐评分，然后进行推荐，并解释推荐结果，是否合理。要求有代码，运行过程抓图，代码的文档说明，解释结果的文档说明等。

package org.conan.mymahout.recommendation.book;

 

import java.io.BufferedReader;

import java.io.File;

import java.io.FileReader;

import java.io.IOException;

import java.util.HashSet;

import java.util.List;

import java.util.Set;

 

import org.apache.mahout.cf.taste.common.TasteException;

import org.apache.mahout.cf.taste.eval.RecommenderBuilder;

importorg.apache.mahout.cf.taste.impl.common.LongPrimitiveIterator;

import org.apache.mahout.cf.taste.model.DataModel;

import org.apache.mahout.cf.taste.recommender.IDRescorer;

import org.apache.mahout.cf.taste.recommender.RecommendedItem;

 

public class BookFilterGenderResult {

 

    final static intNEIGHBORHOOD_NUM = 2;

    final static intRECOMMENDER_NUM = 3;

 

    public static void main(String[]args) throws TasteException, IOException {

        String file ="datafile/book/rating.csv";

        DataModel dataModel= RecommendFactory.buildDataModel(file);

        RecommenderBuilderrb1 = BookEvaluator.userEuclidean(dataModel);

        RecommenderBuilder rb2 =BookEvaluator.itemEuclidean(dataModel);

        RecommenderBuilderrb3 = BookEvaluator.userEuclideanNoPref(dataModel);

        RecommenderBuilderrb4 = BookEvaluator.itemEuclideanNoPref(dataModel);

       

        long uid = 152;

       System.out.print("userEuclidean       =>");

        filterGender(uid,rb1, dataModel);

       System.out.print("itemEuclidean       =>");

        filterGender(uid,rb2, dataModel);

       System.out.print("userEuclideanNoPref =>");

        filterGender(uid,rb3, dataModel);

       System.out.print("itemEuclideanNoPref =>");

        filterGender(uid,rb4, dataModel);

    }

 

    /**

     * 对用户性别进行过滤

     */

    public static voidfilterGender(long uid, RecommenderBuilder recommenderBuilder, DataModeldataModel) throws TasteException, IOException {

        //Set<Long>userids = getMale("datafile/book/user.csv");

    Set <Long>userids = getFeMale("datafile/book/user.csv");

 

        //计算女性用户打分过的图书

        Set bookids = newHashSet();

        for (long uids :userids) {

           LongPrimitiveIterator iter =dataModel.getItemIDsFromUser(uids).iterator();

            while(iter.hasNext()) {

                long bookid = iter.next();

               bookids.add(bookid);

            }

        }

 

        IDRescorer rescorer= new FilterRescorer(bookids);

        List list =recommenderBuilder.buildRecommender(dataModel).recommend(uid, RECOMMENDER_NUM,rescorer);

       RecommendFactory.showItems(uid, list, false);

    }

 

    /**

     * 获得男性用户ID

     */

    public static SetgetMale(String file) throws IOException {

        BufferedReader br =new BufferedReader(new FileReader(new File(file)));

        Set userids = newHashSet();

        String s = null;

        while ((s =br.readLine()) != null) {

            String[] cols =s.split(",");

            if(cols[1].equals("M")) {// 判断男性用户

               userids.add(Long.parseLong(cols[0]));

            }

        }

        br.close();

        return userids;

    }

    /**

     * 获得女性用户ID

     */

    public static SetgetFeMale(String file) throws IOException {

        BufferedReader br =new BufferedReader(new FileReader(new File(file)));

        Set userids = newHashSet();

        String s = null;

        while ((s =br.readLine()) != null) {

            String[] cols =s.split(",");

            if(cols[1].equals("F")) {// 判断女性用户

               userids.add(Long.parseLong(cols[0]));

            }

        }

        br.close();

        return userids;

    }

}

 

/**

 * 对结果重计算

 */

class FilterRescorer implements IDRescorer {

    final private Setuserids;

 

    publicFilterRescorer(Set userids) {

        this.userids =userids;

    }

 

    @Override

    public doublerescore(long id, double originalScore) {

        returnisFiltered(id) ? Double.NaN : originalScore;

    }

 

    @Override

    public booleanisFiltered(long id) {

        return ！userids.contains(id);

    }

}

运行结果：

userEuclidean

AVERAGE_ABSOLUTE_DIFFERENCEEvaluater Score:0.11111108462015788

RecommenderIR Evaluator: [Precision:0.3010752688172043,Recall:0.08542713567839195]

itemEuclidean

AVERAGE_ABSOLUTE_DIFFERENCEEvaluater Score:1.3536954060693203

RecommenderIR Evaluator: [Precision:0.0,Recall:0.0]

userEuclideanNoPref

AVERAGE_ABSOLUTE_DIFFERENCEEvaluater Score:4.61812258478421

RecommenderIR Evaluator: [Precision:0.09045226130653267,Recall:0.09296482412060306]

itemEuclideanNoPref

AVERAGE_ABSOLUTE_DIFFERENCEEvaluater Score:2.625455679766278

RecommenderIR Evaluator: [Precision:0.6005025125628134,Recall:0.6055276381909548]

userEuclidean       =>uid:99,

itemEuclidean      =>uid:99,(586,10.000000)(378,10.000000)(202,9.666667)

userEuclideanNoPref=>uid:99,(616,1.000000)(307,1.000000)(552,1.000000)

itemEuclideanNoPref=>uid:99,(96,3.392724)(860,3.250000)(375,3.200000)

我们对itemEuclideanNoPref算法的结果进行分析。

排名第一的是ID为96的图书，我再一步向下追踪：查询哪些用户对图书96的打分比较高。

73

96

8

F

28

79

96

7

F

32

117

96

10

F

34

163

96

8

F

32

所有得用户都是女性，其中117用户对106图书的评分很高。

userid

bookid

score

sex

age

99

106

10

F

37

117

106

7

F

34

所以是合理的。

 

ericliu2017
关注
专栏目录
mahout-core-0.8.jar
09-11
mahout-core-0.8.jar mahout-core-0.8.jar
mahout 0.8入门
weixin_34232617的博客
11-17 117
mahout-distribution-0.8命令行对应哪个类可以查看源码配置文件driver.classes.default.propsmahout的APIhttps://builds.apache.org/job/Mahout-Quality/javadoc/ mahout实战参考博客：http://itindex.net/detail/45259-mahout-%E7%...
mahout 0.8 安装
zpllwy的专栏
10-29 1198
1. Mahout简介 Mahout 是 Apache Software Foundation（ASF） 旗下的一个开源项目，提供一些可扩展的机器学习领域经典算法的实现，旨在帮助开发人员更加方便快捷地创建智能应用程序。Apache Mahout项目已经发展到了它的第三个年头，目前已经有了三个公共发行版本。Mahout包含许多实现，包括聚类、分类、推荐过滤、频繁子项挖掘。此外，通过使用 Apach
mahout 推荐算法 java_Mahout推荐算法API具体解释【一起学Mahout】
weixin_32047035的博客
02-26 322
SlopeOne是一种简单高效的协同过滤算法。通过均差计算进行评分。1). 举例说明：用户X。Y，Z，对于物品A,B进行打分，例如以下表，求Z对B的打分是多少？Slope one算法觉得：平均值能够取代某两个未知个体之间的打分差异，事物A对事物B的平均差是：((5 - 4) + (4 - 2)) / 2 = 1.5，就得到Z对B的打分是，3-1.5 = 1.5。Slope one算法将用户的评分之...
《Mahout实战》
CV_2013的专栏
10-01 1756
Refer from http://www.52ml.net/tags/mahout 本书附带的语音讲解可以直接在此网页 http://www.ituring.com.cn/article/74754 观看，图灵教育为这些视频配上了中文字幕，以便帮助读者更好地理解。后文中会在不同的章节出现音频或视频文件图标（如下所示），并连接到相关语音讲解视频。               
人工智能-推荐系统-新闻推荐-基于Mahout的新闻推荐系统
07-08
相关技术 推荐算法 基于用户的协同过滤 ...调用Deeplearning4j中构建paragraphvector的方法，通过doc2vec构建VSM 用Gensim会更方便点 基于热点的推荐 统计最高浏览量 过滤一定时间前的新闻保证热点的准确
Mahout构建图书推荐系统
cuilanbo的专栏
07-31 5749
Hadoop家族系列文章，主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa，新增加的项目包括，YARN, Hcatalog, Oozie, Cassandra, Hama, Whirr, Flume, Bigtop, Crunch, Hue等。 从2
基于spark、mahout和spring boot构建的推荐系统.zip(毕设&课设&实训&大作业&竞赛&项目)
最新发布
09-19
项目工程资源经过严格测试可直接运行成功且功能正常的情况才上传，可轻松复刻，拿到资料包后可轻松复现出一样的项目，本人系统开发经验充足（全领域），有任何使用问题欢迎随时与我联系，我会及时为您解惑，提供帮助...
maven配置本地Mahout-core jar包
u014269320的专栏
03-31 1501
参考原博客：http://blog.csdn.net/chunqiuwei/article/details/18007023 maven死活下不了 Mahout，就网上下了一个mahout-core-0.9.jar，本地配置如下： 第一步：在项目根目录创建如下：repo/mahout/mahout-core/0.9，把下载的jar放进去 第二部：配置pom.xml文件中的respos
Mahout推荐系统构建
epitomizelu的专栏
12-11 925
参考博客： 1，Mahout推荐算法基础。http://blog.csdn.net/ppcat_001/article/details/7736822 2，用Maven构建Mahout项目。http://blog.fens.me/hadoop-mahout-maven-eclipse/ Mahout的推荐引擎已经高度模块化，用户能基于Mahout用极简单的代码构建自己的推荐引擎。这篇
Mahout0.9版本第八周作业
gywtzh0889的专栏
08-05 422
书面作业那边修改不了，就发个帖子把作业做了吧我用的是Hadoop2.4.0+Mahout0.9+Pig0.13.0，所以课件中的方法都不适用了，要全部重新搞 首先是用sport构造bayes和cbayes分类器，这步可以直接参照examples/binclassify-20newsgroups.sh通过Mahout脚本实现 ##1.将分类文章序列化 mahout se
Mahout0.8_API
12-07
Mahout0.8_API 喜欢的人就请下载吧
基于物品的协同过滤算法
shuke1991的博客
08-30 766
场景：猜你喜欢 数据量：大数据架构 检验：准确率、召回率、覆盖率、流行度  步骤： 构建物品的同现矩阵建立用户对物品的评分矩阵同现矩阵*评分结果=矩阵计算结果 选择结果列向量中最大的未评价的推荐 具体实现：Hadoop+Mahout（数据模型、相似度、近邻、推荐、评分） 测试数据集： rating.csv 3列：用户ID，图书ID，评分数据 记录数：4000次评
Mahout实现基于性别的IDRescorer
杨鑫newlife的专栏
02-19 1210
Mahout实现基于性别的IDRescorer
spark0.9分布式安装
myboyliu2007的专栏
02-08 8608
spark安装包：spark-0.9.0-incubating-bin-hadoop2.tgz 操作系统：     CentOS6.4 jdk版本：      jdk1.7.0_21 1. Cluster模式 1.1 安装Hadoop 用VMware Workstation 创建三台CentOS 虚拟机，hostname分别设置为 master,slaver01, slaver02
大数据可视化工具---GraphBuilder demo
myboyliu2007的专栏
12-05 4168
Intel近日开源了GraphBuilder测试版本的源码。 GraphBuilder由英特尔研究院（Intel Labs）开发，是首个针对大数据的可扩展的开源Java库，可以将大数据集构建成图形——能够反映数据之间关系的网络状结构图，帮助行业和学术界的科学家或数据分析师快速分析大型数据集。 GraphBuilder使用MapReduce并行编程模型进行扩展，其主要组件及与Hadoop
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值