Hadoop第10周练习—Mahout部署及进行20newsgroup数据分析例子

最新推荐文章于 2024-04-16 22:27:43 发布
最新推荐文章于 2024-04-16 22:27:43 发布
阅读量1.3k 收藏 1
点赞数 1
分类专栏： BigData 文章标签： hadoop

转载：http://www.cnblogs.com/shishanyuan/p/4205209.html

1  运行环境说明

1.1  硬软件环境

1.2  机器网络环境

2  书面作业0：搭建MAHOUT环境

2.1  Mahout介绍

2.2  部署过程

2.2.1   下载Mahout

2.2.2   上传Mahout

2.2.3   解压缩

2.2.4   设置环境变量

2.2.5   验证安装完成

2.3  测试例子

2.3.1   下载测试数据，放到$MAHOUT_HOME/testdata目录

2.3.2   启动Hadoop

2.3.3   使用kmeans算法

2.3.4   查看结果

3  书面作业1：运行20NEWSGROUP

3.1  书面作业1内容

3.2  算法流程

3.3  实现过程（mahout 0.6版本）

3.3.1   下载数据

3.3.2   上传并解压数据

3.3.3   建立训练集

3.3.4   建立测试集

3.3.5   上传数据到HDFS

3.3.6   训练贝叶斯分类器

3.3.7   观察训练作业运行过程

3.3.8   查看生成模型

3.3.9   测试贝叶斯分类器

3.3.10观察训练作业运行过程

3.3.11查看结果

3.4     实现过程（mahout 0.7+版本）

4 问题解决

4.1  使用mahout0.7+版本对20Newsgroup数据建立训练集时出错

1 运行环境说明

1.1 硬软件环境

l  主机操作系统：Windows 64 bit，双核4线程，主频2.2G，6G内存

l  虚拟软件：VMware® Workstation 9.0.0 build-812388

l  虚拟机操作系统：CentOS 64位，单核，1G内存

l  JDK：1.7.0_55 64 bit

l  Hadoop：1.1.2

1.2 机器网络环境

集群包含三个节点：1个namenode、2个datanode，其中节点之间可以相互ping通。节点IP地址和主机名分布如下：

序号

IP地址

机器名

类型

用户名

运行进程

1

10.88.147.221

hadoop1

名称节点

hadoop

NN、SNN、JobTracer

2

10.88.147.222

hadoop2

数据节点

hadoop

DN、TaskTracer

3

10.88.147.223

hadoop3

数据节点

hadoop

DN、TaskTracer

所有节点均是CentOS6.5 64bit系统，防火墙均禁用，所有节点上均创建了一个hadoop用户，用户主目录是/usr/hadoop。所有节点上均创建了一个目录/usr/local/hadoop，并且拥有者是hadoop用户。

2 书面作业0：搭建Mahout环境

2.1 Mahout介绍

Mahout 是 Apache Software Foundation（ASF） 旗下的一个开源项目，提供一些可扩展的机器学习领域经典算法的实现，旨在帮助开发人员更加方便快捷地创建智能应用程序。AMahout包含许多实现，包括聚类、分类、推荐过滤、频繁子项挖掘。此外，通过使用 Apache Hadoop 库，Mahout 可以有效地扩展到云中。

2.2 部署过程

2.2.1下载Mahout

在Apache下载最新的Mahout软件包，点击下载会推荐最快的镜像站点，以下为下载地址：http://archive.apache.org/dist/mahout/0.6/

clip_image002

2.2.2上传Mahout

把下载的mahout-distribution-0.6.tar.gz安装包，使用SSH Secure File Transfer工具（第1、2作业周2.1.3.1介绍）上传到/home/hadoop/Downloads 目录下

clip_image004

2.2.3解压缩

在Downloads目中将mahout解压缩

cd /home/hadoop/Downloads/

tar -xzf mahout-distribution-0.6.tar.gz

clip_image006

把mahout-distribution-0.6目录移到/usr/local目录下

sudo mv mahout-distribution-0.6 /usr/local/mahout-0.6

cd /usr/local

ls

clip_image008

2.2.4设置环境变量

使用如下命令编辑/etc/profile文件：

sudo vi /etc/profile

clip_image010

声明mahout的home路径和在path加入bin的路径：

export MAHOUT_HOME=/usr/local/mahout-0.6

export MAHOUT_CONF_DIR=/usr/local/mahout-0.6/conf

export PATH=$PATH:$MAHOUT_HOME/bin

clip_image012

编译配置文件/etc/profile，并确认生效

source /etc/profile

2.2.5验证安装完成

重新登录终端，确保hadoop集群启动，键入mahout --help命令，检查Mahout是否安装完好，看是否列出了一些算法：

mahout --help

clip_image014

2.3 测试例子

2.3.1下载测试数据，放到$MAHOUT_HOME/testdata目录

下载一个文件synthetic_control.data，下载地址http://archive.ics.uci.edu/ml/databases/synthetic_control/synthetic_control.data，并把这个文件放在$MAHOUT_HOME目录下clip_image016

cd /home/hadoop/Downloads/

mv synthetic_control.data /usr/local/mahout-0.6/

clip_image018

mkdir testdata

cp synthetic_control.data testdata/

ls

clip_image020

2.3.2启动Hadoop

./start-all.sh

clip_image022

2.3.3使用kmeans算法

使用如下命令进行kmeans算法测试：

mahout org.apache.mahout.clustering.syntheticcontrol.kmeans.Job

clip_image024

2.3.4查看结果

结果会在根目录建立output新文件夹，如果下图结果表示mahout安装正确且运行正常：

cd output

ls

clip_image026

3 书面作业1：运行20newsgroup

3.1 书面作业1内容

安装Mahout，并运行20newsgroup的测试样例，抓图说明实验过程

3.2 算法流程

朴素贝叶斯分类是一种十分简单的分类算法，朴素贝叶斯的思想基础是这样的：对于给出的待分类项，求解在此项出现的条件下各个类别出现的概率哪个最大，就认为此待分类项属于哪个类别。

这二十个新闻组数据集合是收集大约20,000新闻组文档，均匀的分布在20个不同的集合。这20个新闻组集合采集最近流行的数据集合到文本程序中作为实验，根据机器学习技术。例如文本分类，文本聚集。我们将使用Mahout的Bayes Classifier创造一个模型，它将一个新文档分类到这20个新闻组集合范例演示

clip_image028

 

3.3     实现过程（mahout 0.6版本）

3.3.1下载数据

下载20Newsgroups数据集，地址为 http://qwone.com/~jason/20Newsgroups/ ，下载20news-bydate.tar.gz数据包

clip_image030

3.3.2上传并解压数据

把下载的20news-bydate.tar.gz数据包，使用SSH Secure File Transfer工具（第1、2作业周2.1.3.1介绍）上传到/home/hadoop/Downloads 目录下：

clip_image032

解压20news-bydate.tar.gz数据包，解压后可以看到两个文件夹，分别为训练原始数据和测试原始数据：

cd /home/hadoop/Downloads/

tar -xzf 20news-bydate.tar.gz

clip_image034

在mahout根目录下建data文件夹，然后把20news训练原始数据和测试原始数据迁移到该文件夹下：

mkdir /usr/local/mahout-0.6/data

mv 20news-bydate-t* /usr/local/mahout-0.6/data

ls /usr/local/mahout-0.6/data

clip_image036

3.3.3建立训练集

通过如下命令建立训练集，训练的数据在20news-bydate-train目录中，输出的训练集目录为 bayes-train-input：

mahout org.apache.mahout.classifier.bayes.PrepareTwentyNewsgroups \

-p /usr/local/mahout-0.6/data/20news-bydate-train \

-o /usr/local/mahout-0.6/data/bayes-train-input \

-a org.apache.mahout.vectorizer.DefaultAnalyzer \

-c UTF-8

clip_image038

3.3.4建立测试集

通过如下命令建立训练集，训练的数据在20news-bydate-test目录中，输出的训练集目录为 bayes-test-input：

mahout org.apache.mahout.classifier.bayes.PrepareTwentyNewsgroups \

-p /usr/local/mahout-0.6/data/20news-bydate-test \

-o /usr/local/mahout-0.6/data/bayes-test-input \

-a org.apache.mahout.vectorizer.DefaultAnalyzer \

-c UTF-8

clip_image040

3.3.5上传数据到HDFS

在HDFS中新建./20news文件夹，把生成的训练集和测试集上传到HDFS的./20news目录中：

hadoop fs -mkdir ./20news

hadoop fs -put /usr/local/mahout-0.6/data/bayes-train-input ./20news

hadoop fs -put /usr/local/mahout-0.6/data/bayes-test-input ./20news

hadoop fs -ls ./20news

hadoop fs -ls ./ 20news/bayes-test-input

clip_image042

3.3.6训练贝叶斯分类器

使用trainclassifier类训练在HDFS中./20news/bayes-train-input的数据，生成的模型放到./ 20news/newsmodel 目录中：

mahout trainclassifier \

-i /user/hadoop/20news/bayes-train-input \

-o /user/hadoop/20news/newsmodel \

-type cbayes

-ng2 \

-source hdfs

clip_image044

 

3.3.7观察训练作业运行过程

在训练过程中在JobTracker页面观察运行情况，链接地址为http://hadoop1:50030/jobtracker.jsp，训练任务四个作业，大概运行了15分钟左右：

clip_image046

点击查看具体作业信息

clip_image048

map运行情况

clip_image050

作业运行情况

clip_image052

3.3.8查看生成模型

通过如下命令查看模型内容：

hadoop fs -ls ./20news

hadoop fs -ls ./20news/newsmodel

hadoop fs -ls ./20news/newsmodel/trainer-tfIdf

clip_image054

3.3.9测试贝叶斯分类器

使用testclassifier类训练在HDFS中./20news/bayestest-input的数据，使用的模型路径为./ 20news/newsmodel：

mahout testclassifier \

-m /user/hadoop/20news/newsmodel \

-d /user/hadoop/20news/bayes-test-input \

-type cbayes

-ng2 \

-source hdfs\

-method mapreduce

 

clip_image056

3.3.10   观察训练作业运行过程

在执行过程中在JobTracker页面观察运行情况，链接地址为http://hadoop1:50030/jobtracker.jsp，训练任务1个作业，大概运行了5分钟左右：

clip_image058

作业的基本信息

clip_image060

map运行情况

clip_image062

reduce运行情况

clip_image064

3.3.11   查看结果

这个混合矩阵的意思说明：上述a到u分别是代表了有20类别，这就是我们之前给的20个输入文件，列中的数据说明每个类别中被分配到的字节个数，classified说明应该被分配到的总数

381  0  0  0  0  9  1  0  0  0  1  0  0  2  0  1  0  0  3  0  0  |  398  a = rec.motorcycles

意思为rec.motorcycles 本来是属于 a，有381篇文档被划为了a类，这个是正确的数据，其它的分别表示划到 b~u类中的数目。我们可以看到其正确率为 381/398=0.9573 ,可见其正确率还是很高的了。

clip_image066

3.4 实现过程（mahout 0.7+版本）

在0.7版本的安装目录下$MAHOUT_HOME/examples/bin下有个脚本文件classifu-20newsgroups.sh，这个脚本中执行过程是和前面分布执行结果是一致的，只不过将各个API用shell脚本封装到一起了。从0.7版本开始，Mahout移除了命令行调用的API：prepare20newsgroups、trainclassifier和testclassifier，只能通过shell脚本执行。

执行 $MAHOUT_HOME/examples/bin/classify-20newsgroups.sh 四个选项中选择第一个选项，

clip_image068

 

clip_image070

4 问题解决

4.1  使用mahout0.7+版本对20Newsgroup数据建立训练集时出错

使用如下命令对20Newsgroupt数据建立训练集时：

mahout org.apache.mahout.classifier.bayes.PrepareTwentyNewsgroups \

-p /usr/local/mahout-0.9/data/20news-bydate-train \

-o /usr/local/mahout-0.9/data/bayes-train-input \

-a org.apache.mahout.vectorizer.DefaultAnalyzer\

-c UTF-8

出现如下错误，原因在于从0.7版本开始，Mahout移除了命令行调用的prepare20newsgroups、trainclassifier和testclassifier API，只能通过shell脚本执行$MAHOUT_HOME/examples/bin/classify-20newsgroups.sh进行

14/12/7 21:31:35 WARN driver.MahoutDriver: Unable to add class: org.apache.mahout.classifier.bayes.PrepareTwentyNewsgroups

14/12/7 21:31:35 WARN driver.MahoutDriver: No org.apache.mahout.classifier.bayes.PrepareTwentyNewsgroups.props found on classpath, will use command-line arguments only

Unknown program 'org.apache.mahout.classifier.bayes.PrepareTwentyNewsgroups' chosen.

Valid program names are:

  arff.vector: : Generate Vectors from an ARFF file or directory

  baumwelch: : Baum-Welch algorithm for unsupervised HMM training

  .......

调用shell脚本执行参见3.4


BusyMonkey
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
20news-bydate
03-13
文本分类任务，针对英语的，主题相关的，语料已经处理好了
Hadoop—Mahout部署及进行20newsgroup数据分析例子---练习10
yyy
07-19 997
1 运行环境说明 1.1 硬软件环境 l  主机操作系统：Windows 64 bit，双核4线程，主频2.2G，6G内存 l  虚拟软件：VMware® Workstation 9.0.0 build-812388 l  虚拟机操作系统：CentOS 64位，单核，1G内存 l  JDK：1.7.0_55 64 bit l  Hadoop：1.1.2 1.2 机器网络环境 集群包
【Spark Mllib】TF-IDF&Word2Vec——文本相似度
热门推荐
06-21 2万+
一个比较通用的例子是使用单词的向量表示基于单词的含义计算两个单词的相似度。特征哈希通过使用哈希方程对特征赋予向量下标,这个向量下标是通过对特征的值做哈希得到的(通常是整数)。使用的哈希方程必须是一致的(就是说,对于一个给定的输入,每次返回相同的输出)。的含义是:在一个文档中出现次数很多的词相比出现次数少的词应该在词向量表示中得到更高的权值。最后的结果就是,稀有的或者重要的词被给予了更高的权值,而更加常用的单词(被认为比较不重要)则在考虑权重的时候有较小的影响。对于我们的任务来说,可以使用。
SKlearn Twenty Newsgroups 文本分类数据下载和详细步骤
qq_24822271的博客
06-19 1667
SKlearn Twenty Newsgroups 文本分类数据下载和详细步骤 # 读取数据 # 数据压缩包下载地址 https://ndownloader.figshare.com/files/5975967 # １．将20newsbydate.tar.gz 放在/data/workspace/test/tf/data/20news_home　目录下， # ２．修改/usr/local/p...
适用于<python机器学习与实践>的twenty_newsgroups.py文件内容
微电子学与固体电子学-俞驰
06-25 2051
路径为： D:\software\python27\Lib\site-packages\sklearn\datasets 替换twenty_newsgroups.py中的内容如下： """Caching loader for the 20 newsgroups text classification dataset The description of t
基于hadoop对某网站日志分析部署实践课程设计报告参考模板.doc
05-09
基于Hadoop部署实践对网站日志分析 1. 项目概述 本次要实践的数据日志来源于国内某技术学习论坛，该论坛由某培训机构主办，汇聚了众多技术学习者，每天都有人发帖、回帖。至此，我们通过Python网络爬虫手段进行数据...
大数据分析-网站日志数据文件（Hadoop部署分析资料）
05-09
至此，我们通过Python网络爬虫手段进行数据抓取，将我们网站数据（2013-05-30,2013-05-31）保存为两个日志文件，由于文件大小超出我们一般的分析工具处理的范围，故借助Hadoop来完成本次的实践。 使用python对原始...
基于Hadoop豆瓣电影数据分析实验报告
06-16
针对本次实验，我们需要用到Hadoop集群作为模拟大数据的分析软件，集群环境必须要包括，hdfs，hbase，hive，flume，sqoop等插件，最后结合分析出来的数据进行可视化展示，需要用到Python（爬取数据集，可视化展示）...
基于Hadoop网站流量日志数据分析系统.zip
06-24
基于Hadoop网站流量日志数据分析系统 1、典型的离线流数据分析系统 2、技术分析 - Hadoop - nginx - flume - hive - mysql - springboot + mybatisplus+vcharts nginx + lua 日志文件埋点的 基于Hadoop网站流量...
基于Hadoop的电影影评数据分析
04-04
是大数据课程大作业，基于Hadoop的电影影评数据分析，需要安装Hadoop，了解MapReduce 和HDFS。
20news-bydate.pkz文件
04-09
在使用sklearn进行文本分类时，我们需要引入数据包。
机器学习数据集，20news-bydate.rar
09-06
主要是解决这里的问题：http://blog.csdn.net/mmc2015/article/details/47971253#reply。数据集下载不下来，还是用现成的吧。
20 Newsgroups数据集（包括20news-19997、20news-bydate和20news-18828三个数据集）
07-31
20 Newsgroups数据集是大约20,000个新闻组文档的集合，在20个不同的新闻组中几乎均匀划分。20 Newsgroups数据集已经成为机器学习技术相关实验的常用数据集，例如文本分类和文本聚类实验。
20news-bydate_py3.pkz
08-14
sklearn官方文档中20news_group的预处理数据，将其放在本机指定目录，例如ml_test/sklearndata，你的代码在ml_test下，然后函数fetch_20newsgroups中指定参数data_home='sklearndata/'，download_if_missing=False，即可使用本地缓存的预处理数据。
Hadoop+Spark大数据技术（微课版）曾国荪、曹洁版思维导图第五章 Scala基础与编程（未完待续。。。）
qq_64684039的博客
04-16 790
Hadoop+Spark大数据技术（微课版）曾国荪、曹洁版思维导图第五章 Scala基础与编程（未完待续。。。）
php入门留言板 php+access PHP语言基础
最新发布
04-19
【PHP】php入门留言板 php+access PHP语言基础 【实例简介】php入门留言板 php access php入门留言板 让你轻松学会php 基本语言结构.php连 access数据库的语法以及功能.php access 【核心代码】 文件清单 ├── admin.php ├── detail.php ├── images │ ├── arrow2.gif │ ├── arrow.gif │ ├── bg.gif │ ├── bottom-bg.gif │ ├── column.gif │ ├── dished_x.gif │ ├── favicon.ico │ ├── layout-bodybg.gif │ ├── layout-footer.gif │ ├── layout-top.gif │ ├── li-right.gif │ └── Thumbs.db ├── inc │ ├── config.php │ ├── conn.php │ └── data.mdb ├── index.php ├── sty
关于C语言的学习代码和C语言的刷题代码.zip
04-19
C语言诞生于美国的贝尔实验室，由丹尼斯·里奇（Dennis MacAlistair Ritchie）以肯尼斯·蓝·汤普森（Kenneth Lane Thompson）设计的B语言为基础发展而来，在它的主体设计完成后，汤普森和里奇用它完全重写了UNIX，且随着UNIX的发展，c语言也得到了不断的完善。为了利于C语言的全面推广，许多专家学者和硬件厂商联合组成了C语言标准委员会，并在之后的1989年，诞生了第一个完备的C标准，简称“C89”，也就是“ANSI C”，截至2020年，最新的C语言标准为2018年6月发布的“C18”。 [5] C语言之所以命名为C，是因为C语言源自Ken Thompson发明的B语言，而B语言则源自BCPL语言。 1967年，剑桥大学的Martin Richards对CPL语言进行了简化，于是产生了BCPL（Basic Combined Programming Language）语言。
安卓图片上传和文件上传带jsp服务端源码.zip
04-19
android 源码学习. 资料部分来源于合法的互联网渠道收集和整理，供大家学习参考与交流。本人不对所涉及的版权问题或内容负法律责任。如有侵权，请通知本人删除。感谢CSDN官方提供大家交流的平台
物资管理系统项目源码.rar
04-19
物资管理系统项目源码.rar是一个综合性的软件开发包，旨在为高校学生提供一个完整的框架和参考实现，以便他们能够进行毕业设计或课程设计。这个压缩包包含了多个关键组件，如用户认证、库存管理、订单处理、报表生成等模块，每个模块都配备了详细的文档和代码实例，确保学生可以快速理解并开始构建自己的物资管理系统。该系统采用了现代的软件架构理念，比如MVC模式，使得前后端分离，便于维护和升级。同时，它支持多种数据库系统，如MySQL、SQLite等，提供了数据持久化的灵活性。在安全性方面，系统实现了基于角色的访问控制，保障了操作的权限划分。此外，它还考虑了用户体验，界面友好，操作直观。对于即将步入职场的软件工程专业的学生而言，通过分析和扩展这个源码包中的项目，不仅可以锻炼他们的编程实践能力，还能帮助他们理解企业级应用的开发流程和标准。无论是作为学习资源还是实践平台，物资管理系统项目源码.rar都是一个宝贵的资料，有助于学生将理论知识转化为实际操作技能，为他们日后的职业发展奠定坚实的基础。问问助手:解决方案编制助手重新回答||
Hadoop mahout
08-14
Hadoop和Mahout是两个不同的项目，但它们可以同时用于构建和运行大规模数据处理和机器学习任务。 Hadoop是一个由Apache基金会开发的分布式系统基础架构，可以用于高速运算和存储大规模数据。它的核心设计包括HDFS和...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值