![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Python爬虫
Ricky丶轻尘
只要在变好,慢一点也没事。
展开
-
Scrapy框架:爬取网易新闻四大板块数据
简介:本文主要记录了学习Scrapy框架的成果,以及Selenium模拟浏览器和SQLite数据库的简单应用。文章目录前言一、Scrapy是什么?二、拓展知识(Selenium、SQLite)三、具体步骤1.spider.py文件2.items.py文件3.middlewares.py文件4.pipelines.py文件5.settings.py文件6.run_spider.py文件四、结果展示总结前言需求:利用Scrapy框架爬取<网易新闻>四大常用板块(国内、国际、军事、无人机)首原创 2020-08-19 15:49:19 · 914 阅读 · 0 评论 -
Python爬虫:使用线程池快速下载视频
旁白:上一篇利用python爬取了虎牙星秀的图片,这一篇利用线程池对视频进行爬取。文章目录前言一、为什么要使用线程池?二、使用步骤1.引入模块2.创建文件夹3.存储文件4.完整代码三、运行结果总结前言问题:爬虫每次只能request一个url?那也太慢了吧!解决方案:利用线程池,加快爬虫效率,节省电脑消耗。提示:以下是本篇文章正文内容,下面案例可供参考一、为什么要使用线程池?系统启动一个新线程的成本是比较高的,因为它涉及与操作系统的交互。在这种情形下,使用线程池可以很好地提升性能,尤其是原创 2020-08-14 16:12:45 · 851 阅读 · 0 评论