![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
蒋博文
这个作者很懒,什么都没留下…
展开
-
爬虫和数据库部分知识
1.scrapy和scrapy-redis有什么区别?为什么选择redis数据库? scrapy是一个Python爬虫框架,爬取效率极高,具有高度定制性,但是不支持分布式。而scrapy-redis一套基于redis数据库、运行在scrapy框架之上的组件,可以让scrapy支持分布式策略,Slaver端共享Master端redis数据库里的item队列、请求队列和请求指纹集合。 为什么选...原创 2019-06-10 20:35:15 · 1530 阅读 · 0 评论 -
初识Scrapy
本文将涉及以下内容: 0. Scrapy安装; 1. 创建Scrapy项目; 2. 写一个spider来爬取网页并提取数据; 3. 用命令行来输出爬到的数据; 4. 修改spider来递归跟踪连接; 5. 使用spider参数; 安装: 如果你是使用Anaconda,可以通过conda-forge通道安装: conda install -c conda-forge scrapy 创建S...原创 2019-06-11 23:05:13 · 1402 阅读 · 0 评论