本文介绍了如何使用Python库mrjob在Hadoop上执行MapReduce任务，无需部署Hadoop集群。主要内容包括MRJob的安装、Python MRJob模块的使用，以及通过mrjob实现文本统计和复杂数据处理的示例。此外，还对比了其他Python MapReduce框架如Hadoop Streaming、dumbo、hadoopy和pydoop的特点。
想要Hadoop乖巧地运行Python程序，学习mrjob可能是最直接、最简单的方法了，你甚至都不要按安装部署Hadoop集群。mrjob拥有很多优秀的特性比如：
-
支持多步骤的MapReduce任务工作流
-
支持内嵌、本地、远程亚马逊以及Hadoop
-
调试方便不需要任务环境支持
本教程通过 python 中 mrjob 模块来调用 hadoop 处理数据。通过本次实验，你可以初步入门mrjob，轻松编写mr来使用hadoop。主要知识点：
-
Python MRJob模块的安装
-
Hadoop——Python各模块介绍
-
使用MRJob实现文本统计
-
Python MRJob的运行方式
-
重写MRJob函数实现复杂数据处理
效果展示。该展示数据含义是通过mrjob将每个用户（cuid）看过哪些电影（vid）进行统计并输出。
mrjob支持python2和python3 。mrjob可以通过pip直接安装，也可以通过下载
最低0.47元/天 解锁文章
657
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
