本文通过《Python宝典》中的案例，介绍如何使用Python3模拟MapReduce处理Apache用户访问日志，统计页面资源访问量。首先将大文件切割为小文件，然后在每个小文件中进行页面访问次数的计算（map过程），接着合并所有小文件的计算结果，最终得出总的页面访问量。整个流程包括文件切割、map操作和reduce操作。
最近买了一本《Python宝典》在看，此书所讲Python知识的广度明显，但是深度略显不足，所以比较适合入门及提高级的读者来看。其中对于Python大数据处理一章的内容比较有兴趣，看明白了以后，我根据书上提供的案例对源代码进行了修改，也实现了模拟MapReduce的过程。
目标：从Apache的用户访问日志access.log中统计出页面资源的访问量。我们假设这个文件体积十分巨大。
access中的信息结构：66.249.68.43 - - [04/Aug/2011:01:06:48 +0800] "GET /某页面地址 HTTP/1.1" 200 4100
含义：66.249.68.43 来源ip, [04/Aug/2011:01:06:48 +0800] 日期时间，"GET /某页面地址 HTTP/1.1" 来源方式，200 返回状态，4100 返回字节数
步骤：1、将大文件切割成多个小文件；2、计算每个小文件中的页面访问次数（map过程），每一个小文件对应一个计算结果文件；3、将每个小文件中的计算结果文件进行合并累加，统计出最终的页面资源访问量，结果保存到reduceResult.txt中。
文件结构：
最低0.47元/天 解锁文章
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
