本文通过一个下载Imgur热门图片的例子，探讨了Python中多线程、多进程以及分布式任务的实现。从顺序下载到使用线程和多进程实现并发，再到RQ库实现分布式任务，展示了如何优化IO密集型任务的执行效率。Python的GIL限制了线程的并行性，但多进程可以实现真正的并行。文章还区分了并发和并行的概念。
在批评Python的讨论中，常常说起Python多线程是多么的难用。还有人对 global interpreter lock(也被亲切的称为“GIL”)指指点点，说它阻碍了Python的多线程程序同时运行。因此，如果你是从其他语言(比如C++或Java)转过来的话，Python线程模块并不会像你想象的那样去运行。必须要说明的是，我们还是可以用Python写出能并发或并行的代码，并且能带来性能的显著提升，只要你能顾及到一些事情。如果你还没看过的话，我建议你看看Eqbal Quran的文章《Ruby中的并发和并行》。
在本文中，我们将会写一个小的Python脚本，用于下载Imgur上最热门的图片。我们将会从一个按顺序下载图片的版本开始做起，即一个一个地下载。在那之前，你得注册一个Imgur上的应用。如果你还没有Imgur账户，请先注册一个。
本文中的脚本在Python3.4.2中测试通过。稍微改一下，应该也能在Python2中运行——urllib是两个版本中区别最大的部分。
快速使用Romanysoft LAB的技术实现 HTML 开发Mac OS App，并销售到苹果应用商店中。
《HTML开发Mac OS App 视频教程》
官方QQ群：(申请加入，说是我推荐的)
App实践出真知 434558944
App学习交流 452180823
1、开始动手
让我们从创建一个叫“download.py”的Python模块开始。这个文件包含了获取图片列表以及下载这些图片所需的所有函数。我们将这些功能分成三个单独的函数
最低0.47元/天 解锁文章
扫一扫
252
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
