Mahout in action分析维基百科数据例子(一)

最新推荐文章于 2024-04-24 14:38:19 发布
VIP文章 最新推荐文章于 2024-04-24 14:38:19 发布
阅读量1.3k 收藏 2
点赞数 1
分类专栏： 大数据 文章标签： hadoop mahout
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cbl709/article/details/44857861
版权

本文来源于我个人博客www.chenbiaolong.com

概要

本文主要根据mahout in action第六章分析维基百科链接数据的例子编写。大部分内容是直接翻译的mahout in action，不过不是逐字翻译，加入了一些个人理解。关于本文的前提背景可以参考其他博主翻译的文章：
Mahout in action 中文版-6.分布式推荐计算-6.1
Mahout in action 中文版-6.分布式推荐计算-6.2

6.3.2 使用MapReduce：生成用户向量

在这个例子中，我们主要目的是利用item-base的推荐算法实现维基百科网页的推荐。基础理论就是：如果网页A和网页B同时被多个网页同时引用，那么我们就可以推测网页A和网页B的内容相近。当一个用户看了网页A时，我们可以考虑将网页B推荐给它。计算的输入文件是维基百科的链接数据文件，这个文件的每一行数据并不是按照userId,itemId,preference格式排列的，而是按照userID:itemID1 itemID2 itemID3 ...格式排列。这个格式代表的意义是ID为userID的网页有指向ID为itemID1,itemID2...网页的超链接。可以在这里获得所需要的维基百科链接数据文件。将这个文件传送到HDFS文件系统，以便Hadoop集群使用该文件。
为了实现网页推荐功能，我们需要2次的MapReduce操作。

第一次的MapReduce操作将生成用户向量:

  • 在MapReduce框架中，输入的文件将会被看成（Long，String）的键值对，Key是Long类型，它表示值在文件中的位置。String是该行具体的数据内容。比如239/98955:590 22 9059，239表示数据行位于的文件位置，95955:590 22是该行的内容
  • 每一行将会被一个map函数解析为一个user ID和若干个item ID。这个map函数将会生成新的key/value对：一个user ID关联一个item ID,比如98955/590
  • 框架收集所有的被user ID关联的item ID
  • reduce函数输出user ID和与该用户对各个item的喜好向量。用户喜好向量只能为0或者1（因为链接只有有和没有2种情况）。比如95955/[590:1.0,22:1.0,9059:1.0]表示网页95955有链接到590,22,9059的超链接。需要注意的是这里userID
最低0.47元/天 解锁文章
cbl709
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
mahout in action中文版
wenyusuran的专栏
08-15 5029
mahout in action 中文翻译第1章初识mahout mahout in action 中文翻译 1. 初识Mahout 本章涵盖以下内容： Apache Mahout是什么？现实中推荐系统引擎、聚类、分类概述配置mahout 读者可能从本书的标题中依然知晓，本书是一本使用的工具书，讲解如何将mahout应用于业界。Mahout是Apache开源的机器学习库。它实现的算法
Mahout in Action
02-07
brief contents 1 ■ Meet Apache Mahout 1 PART 1 RECOMMENDATIONS ...................................................11 2 ■ Introducing recommenders 13 3 ■ Representing recommender data 26 4 ■ Making recommendations 41 5 ■ Taking recommenders to production 70 6 ■ Distributing recommendation computations 91 PART 2 CLUSTERING .............................................................115 7 ■ Introduction to clustering 117 8 ■ Representing data 130 9 ■ Clustering algorithms in Mahout 145 10 ■ Evaluating and improving clustering quality 184 11 ■ Taking clustering to production 198 12 ■ Real-world applications of clustering 210 Licensed to Jianbin Dai vi BRIEF CONTENTS PART 3 CLASSIFICATION ........................................................225 13 ■ Introduction to classification 227 14 ■ Training a classifier 255 15 ■ Evaluating and tuning a classifier 281 16 ■ Deploying a classifier 307 17 ■ Case study: Shop It To Me 341 Licensed to Jianbin Dai vii contents preface xvii acknowledgments xix about this book xx about multimedia extras xxiii about the cover illustration xxv 1 Meet Apache Mahout 1 1.1 Mahout’s story 2 1.2 Mahout’s machine learning themes 3 Recommender engines 3 ■ Clustering 3 ■ Classification 4 1.3 Tackling large scale with Mahout and Hadoop 5 1.4 Setting up Mahout 6 Java and IDEs 7 ■ Installing Maven 8 ■ Installing Mahout 8 ■ Installing Hadoop 9 1.5 Summary 9 PART 1 RECOMMENDATIONS...........................................11 2 Introducing recommenders 13 2.1 Defining recommendation 14 Licensed to Jianbin Dai viii CONTENTS 2.2 Running a first recommender engine 15 Creating the input 15 ■ Creating a recommender 16 Analyzing the output 17 2.3 Evaluating a recommender 18 Training data and scoring 18 ■ Running RecommenderEvaluator 19 ■ Assessing the result 20 2.4 Evaluating precision and recall 21 Running RecommenderIRStatsEvaluator 21 ■ Problems with precision and recall 23 2.5 Evaluating the
Mahout in action小记（一）
u011569805的专栏
10-31 507
1.The user ID and item ID columns should be non-nullable, and must be indexed. 在使用数据库作为数据源时，userId, itemId 应该不为空 而且 应该建立索引 2.Refreshable interface 实现更新数据，显示调用 1,108,3.0 修改 user 1 item 108 3.0 1,10
Mahout in Action完整版本(英文)
01-31
一些支持 Map-Reduce 的集群实现包括 k-Means、模糊 k-Means、Canopy、Dirichlet 和 Mean-Shift。 　　Distributed Naive Bayes 和 Complementary Naive Bayes 分类实现。
Mahout in Action 学习---基于物品的分布式推荐算法（Wikipedia数据集）
qq_17116557的博客
05-10 1672
文字总结自《Mahout in Action》中文版第六章的内容1.1 数据集介绍Wikipedia数据集:一篇文章到另外一篇文章的链接。 可以将文章看作是用户，将该文章指向的文章视为该源文章所喜欢的物品。 类型：单向布尔型偏好。 相似性评估算法：LogLikelihoodSimilarity 关于LogLikelihoodSimilarity具体算法思想见： 对数似然比相似度 - xid
mahout in action
09-25
mahout in action a good book for your to enter the gate of data minning baseed on hadoop
Mahout in Action 完整版本
11-22
MahoutinAction完整版本。
Mahout in action清晰完整版
07-30
Mahout In Action 清晰完整版 聚类分析、算法推荐
Mahout in Action 读书笔记chapter5 让推荐程序实用化
ericxk
08-01 1147
到了这一章就是真刀实枪的开始了。这是一个约会网站，首先需要下载 http://www.occamslab.com/petricek/data/libimseti-complete.zip ： 这个里面包含了用户对其他人档案的评分，针对评分那个文件，事先经历了数据的预处理：提出了生成评分个数不到20个的用户，还排除了几乎对每个档案都给出相同分值的用户，因为这有可能是垃圾信息和不严肃的评分。还
mahout in action 中文版
dangyifei
05-17 1538
http://running.iteye.com/category/144665
Mahout in action 实战中文版 高清 完整
03-13
Mahout in action 实战中文版 高清 完整,，最经典的hadoop机器学习库
Mahout in action 中文版 高清 完整
12-20
MAHOUT实战--高清版.pdf 个人收集电子书，仅用学习使用，不可用于商业用途，如有版权问题，请联系删除！ 通过收集数据来学习和演进的计算机系统威力无穷。Mahout作为Apache的开源机器学习项目，把推荐系统、分类和聚类等领域的核心算法浓缩到了可扩展的现成的库中。使用Mahout，你可以立即在自己的项目中应用亚马逊、Netflix及其他互联网公司所采用的机器学习技术。, 本书出自Mahout核心成员之手，得到Apache官方推荐，权威性毋庸置疑。作者凭借多年实战经验，为读者展现了丰富的应用案例，并细致地介绍了Mahout的解决之道。本书还重点讨论了可扩展性问题，介绍了如何利用Apache Hadoop框架应对大数据的挑战。, 本书内容：, • 利用分组数据实现个性化推荐；, • 寻找数据中的逻辑簇；, • 通过即时分类实现过滤与调优。
MahoutInAction中文完整版.pdf
10-20
Apache顶级项目Mahout，基于Hadoop的分布式机器学习框架Mahout中文完整版文档。
Hadoop运行包含第三方依赖库的MapReduce作业
cbl709的专栏
04-02 7439
本文来源于我的个人技术博客:www.chenbiaolong.com，欢迎访问概述最近打算学习一下利用hadoop搭建机器学习平台，因为mahout这个机器学习库资料比较多，因此就根据《mahout in action》这本书学习了一下如何搭建hadoop+mahout的机器学习平台。 由于mahout in action只是列出了部分代码，具体的环境搭建书上写的并不多。在编写依赖于mahout的
Mahout in action分析维基百科数据例子(二)
cbl709的专栏
04-07 1246
本文来源于我的个人博客www.chenbiaolong.com概要这篇文章主要论述我在实现上一篇文章所述功能时的具体操作过程。因为hadoop现在有两套新旧API接口，因此在实现过程中需要十分注意你import进来的class是属于新的API还是旧的API。本文的所使用的hadoop版本是2.6版本。工程准备数据准备mahout in action用的是维基百科的数据，数据量较大，考虑到不便于验证我
决策树学习（一）
cbl709的专栏
05-12 1042
本文来自我个人博客：www.chenbiaolong.com概述决策树学习是一种逼近离散值目标函数的方法，简单来说它可以被表示为多个的if-then的规则表达式。在本文中先主要介绍决策树的基本概念，主要包括熵的概念以及如何选择最优的数据集划分方式 数据准备这里我们使用《机器学习》（Tom M.Mitchell著）中的例子作为分析的数据源。这颗决策树根据天气情况分类“星期六上午是否适合打网球”。
决策树学习（二）
cbl709的专栏
05-13 886
本文来源于个人博客：www.chenbiaolong.com概述在上一篇文章中我们利用信息熵的概念找到了最优的划分属性，当然也是仅仅找到“一个”属性而已，虽然利用这个属性划分数据集有着最大的熵减。在现实的机器学习中是不可能只用一个属性就能将数据分类的，因此本文将在上一篇文章的基础上真正构建一颗决策树。熵减越大的属性在该树的节点深度越浅。实现原理我们最终构建的决策树的形式大概如下： 这张图直接给出了
Hadoop - 安装
最新发布
伊织看世界
04-24 1275
关于 Hadoop 架构变迁 1.0 --> 2.0 --> 3.0 安装配置 安装 配置环境变量 配置 core-site.xml hdfs-site.xml mapped-site.xml yarn-site.xml 配置 hadoop-env 启动/停止 Hadoop 服务 查看 hdfs report
基于mahout对电商平台进行商务智能分析
10-13
而Mahout是一个开源的机器学习和数据挖掘框架，它可以应用于商务智能分析中。 首先，Mahout可以帮助电商平台实现用户画像分析。通过Mahout的推荐系统算法，可以根据用户的浏览和购买行为，对用户进行分类和分群。...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值