![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
scrapy
Morning_17
学一点有一点的欢喜
展开
-
windows10下安装mongodb并且在scrapy中使用Mongodb
准备工作安装mongodb安装可视化工具Robo 3T以上请自行参照百度教程进行具体步骤STEP - 0开启mongodb数据库请参照网上教程将mongodb数据库开启(开启连接端口???)开启的时候长这样开启Robo 3T它长这样STEP - 1这里我们需要在pipelines.py文件进行修改,这里我们要做的是与mongodb数据库建立连接需要引入两个东...原创 2019-03-03 21:51:43 · 403 阅读 · 0 评论 -
白话Scrapy框架
白话Scrapy框架框架组成引擎它就是整个爬虫框架的大脑,负责指挥,实现信号、数据在不同组成部分之间的传递调度器它是一个队列,一个存放request请求的队列,所有由引擎发过来的request,都会在调度器这里排好队,等着下一步的处理下载器将引擎交付过来的request指令完成,得到response,并返回给引擎爬虫此时说的爬虫更像是一个军师,它根本没有尽到一个爬...原创 2019-11-07 12:57:54 · 148 阅读 · 0 评论