想要Hadoop乖巧地运行Python程序,学习mrjob可能是最直接、最简单的方法了,你甚至都不要按安装部署Hadoop集群。mrjob拥有很多优秀的特性比如:
-
支持多步骤的MapReduce任务工作流
-
支持内嵌、本地、远程亚马逊以及Hadoop
-
调试方便不需要任务环境支持
本教程通过 python 中 mrjob 模块来调用 hadoop 处理数据。通过本次实验,你可以初步入门mrjob,轻松编写mr来使用hadoop。主要知识点:
-
Python MRJob模块的安装
-
Hadoop——Python各模块介绍
-
使用MRJob实现文本统计
-
Python MRJob的运行方式
-
重写MRJob函数实现复杂数据处理
效果展示。该展示数据含义是通过mrjob将每个用户(cuid)看过哪些电影(vid)进行统计并输出。
mrjob支持python2和python3 。mrjob可以通过pip直接安装,也可以通过下载