![](https://img-blog.csdnimg.cn/20210219001601515.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
python多线程爬虫
文章平均质量分 82
一起学python爬虫!
晴朗_不积跬步无以至千里
坚持不懈
展开
-
Python多线程爬虫之二:爬取王者荣耀高清壁纸(多线程)
一、项目分析1、查询爬取网址 robots 权限1、王者荣耀官网:https://pvp.qq.com/2、访问王者荣耀官网 rbots 权限: https://pvp.qq.com/robots.txt,确定此网站没有设置 robots 权限,即证明此网站数据可以爬取。2、查询主页和详情页面的关系高清壁纸页面 url :https://pvp.qq.com/web201605/wallpaper.shtml3、查看当前网页源代码4、查询需要爬取的 HTML 结构对应的 js 请求1、查原创 2021-02-21 00:15:14 · 2233 阅读 · 0 评论 -
Python多线程爬虫之一:多线程基础知识
一、多线程的引入1、什么是多线程默认情况下,一个程序只有一个线程,代码是依次线性执行的,而多线程则可以并发执行,一次性多个人做多件事,所以效率会大幅提升。2、如何创建一个多线程使用 threading 模块下的 Thread 即可创建线程,关于 threading 的介绍,在并发编程中已总结:https://blog.csdn.net/qq_35092730/article/details/1138405933、单线程与多线程运行速度对比1、单线程运行:import timedef re原创 2021-02-20 02:25:14 · 389 阅读 · 0 评论