本文讲述了作者在Python爬虫实践中遇到的效率问题，通过引入多线程库threading提高了下载速度。在实现过程中，作者遇到了线程分配、异常处理和图片链接错误等问题，详细描述了解决这些问题的过程，包括对ReadTimeout和ConnectionError的处理，以及如何应对404和用户交互式的漫画页面。尽管遇到挑战，但最终成功下载了大部分图片。
前情提要：Python爬虫初体验（1）：利用requests和bs4提取网站漫画
前几天有些放松懈怠，并没有做多少事情……这几天要加油了！7月的计划要抓紧时间完成！
今天疯狂肝这个程序，算是暑假睡得最晚的一天了……（不过程序仍然有问题）
好的废话不多说，进入正题
总结了下上次的爬虫体验。虽然能保证稳定下载，但是下载 50 张XKCD漫画花费的时间达到了将近 10 分钟，效率比较低。
所以这次学习了多线程，以求达到较快下载完全部 2000 余张漫画的目标。（另外配合 V 姓网络加速工具保证连接外网的质量）
额外加入了 threading 模块来实现多线程。
另外，改进了一下代码风格，变量名称
threading 库中，Thread() 是进行多线程操作的关键。
在这里简单的应用：threading.Thread(target=xxxx, args=(), kwargs=None)
（target 指向函数本身，args 为向目标函数传递的常规参数，kwargs 为传递的关键字参数）
然后！
一样的方法去弄就可以了……
……
其实并不行。必须要把提取—解析—下载—存储的全过程函数化，这样才能实现多线程。
于是索性把所有过程都写成了函数里……看起来虽然增加了代码量，但是用起来就会很方便。
这里出现了一个问题：我开了 5 个线程，假如图片一共有 2000 张还行，有 2003 张怎么办？
emm，前 4 个线程下载 401 张图，第 5 个下载 399 张图就可以啦！
但是，如果前 400 张图比较小，第 401-8
最低0.47元/天 解锁文章
扫一扫
1271
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
