scrapy
Morning_17
学一点有一点的欢喜
展开
-
windows10下安装mongodb并且在scrapy中使用Mongodb
准备工作 安装mongodb 安装可视化工具Robo 3T 以上请自行参照百度教程进行 具体步骤 STEP - 0 开启mongodb数据库 请参照网上教程将mongodb数据库开启(开启连接端口???) 开启的时候长这样 开启Robo 3T 它长这样 STEP - 1 这里我们需要在pipelines.py文件进行修改,这里我们要做的是与mongodb数据库建立连接 需要引入两个东...原创 2019-03-03 21:51:43 · 403 阅读 · 0 评论 -
白话Scrapy框架
白话Scrapy框架 框架组成 引擎 它就是整个爬虫框架的大脑,负责指挥,实现信号、数据在不同组成部分之间的传递 调度器 它是一个队列,一个存放request请求的队列,所有由引擎发过来的request,都会在调度器这里排好队,等着下一步的处理 下载器 将引擎交付过来的request指令完成,得到response,并返回给引擎 爬虫 此时说的爬虫更像是一个军师,它根本没有尽到一个爬...原创 2019-11-07 12:57:54 · 147 阅读 · 0 评论