前情提要：Python爬虫初体验（1）：利用requests和bs4提取网站漫画前几天有些放松懈怠，并没有做多少事情……这几天要加油了！7月的计划要抓紧时间完成！今天疯狂肝这个程序，算是暑假睡得最晚的一天了……（不过程序仍然有问题）好的废话不多说，进入正题总结了下上次的爬虫体验。虽然能保证稳定下载，但是下载 50 张XKCD漫画花费的时间达到了将近 10 分钟，效率比较低。所以...
前情提要：Python爬虫初体验（1）：利用requests和bs4提取网站漫画
前几天有些放松懈怠，并没有做多少事情……这几天要加油了！7月的计划要抓紧时间完成！
今天疯狂肝这个程序，算是暑假睡得最晚的一天了……（不过程序仍然有问题）
好的废话不多说，进入正题
总结了下上次的爬虫体验。虽然能保证稳定下载，但是下载 50 张XKCD漫画花费的时间达到了将近 10 分钟，效率比较低。
所以这次学习了多线程，以求达到较快下载完全部 2000 余张漫画的目标。（另外配合 V 姓网络加速工具保证连接外网的质量）
额外加入了 threading 模块来实现多线程。
另外，改进了一下代码风格，变量名称
threading 库中，Thread() 是进行多线程操作的关键。
在这里简单的应用：threading.Thread(target=xxxx, args=(), kwargs=None)
（target 指向函数本身，args 为向目标函数传递的常规参数，kwargs 为传递的关键字参数）
然后！
一样的方法去弄就可以了……
……
其实并不行。必须要把提取—解析—下载—存储的全过程函数化，这样才能实现多线程。
于是索性把所有过程都写成了函数里……看起来虽然增加了代码量，但是用起来就会很方便。
这里出现了一个问题：我开了 5 个线程，假如图片一共有 2000 张还行，有 2003 张怎么办？
emm，前 4 个线程下载 401 张图，第 5 个下载 399 张图就可以啦！
但是，如果前 400 张图比较小，第 401-800 张图比较大，这样的话第一个线程结束时间远早于第二个，如何解决？
其实可以挨个下载：不预先分配每个线程下载哪些图片，直接
……
吐槽：居然花了我 8 个小时来搞这段代码！没想到这部分是这么难弄，
搞的来和当年学 OI 时有一样的心情了。（心情简单.jpg）
最低0.47元/天 解锁文章
2万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
