![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
scrapy
harry5508
寒叶知秋,进阶中...
展开
-
scrapy爬虫框架入门实战
目录 一、认识scrapy1.简介2.框架架构图3.运作流程4.新建scrapy爬虫的大致思想5.补充(安装scrapy)二、开始第一个项目1.新建项目2.明确目标(item)3.制作爬虫(spider)4.编辑管道文件(pipelines.py)5.保存数据一、认识scrapy1.简介scrapy是一个为遍历爬行网站、分解获取...原创 2019-01-14 19:37:32 · 669 阅读 · 0 评论 -
scrapy爬虫框架多个spider指定pipeline
前言:scrapy是个非常不错的处理高并发的爬虫框架,其底层是异步框架 twisted,优势明显。现在来看一个问题:当存在多个爬虫的时候如何指定对应的管道呢? 这里定义了两个爬虫:film、meiju 1.首先想到settings设置文件。settings里针对item_pipelines的设置如下:内置设置参考:ITEM_PIPELINES默认: {}包含要...原创 2019-01-15 09:49:53 · 11091 阅读 · 11 评论 -
scrapy爬取数据保存到mysql数据库
之前一篇文章,写了scrapy入门博客。至于数据库建表也不再赘述。接下来介绍如何将数据进行mysql入库。其实很简单,数据源都拿到了,入库就是信手拈来,着重介绍利用pymysql连接mysql数据库以及封装。1.首先在settings里定义数据库连接属性:地址:host、端口号:port、数据库名:dbname、用户名:user、密码:password配置如下(根据自己的数据库...原创 2019-01-15 16:45:18 · 2443 阅读 · 0 评论 -
scrapy模拟ajax的post请求,爬取动态异步网页
直接进入正题:一般来说爬虫类框架抓取Ajax动态页面都是通过一些第三方的webkit库去手动执行html页面中的js代码, 最后将生产的html代码交给spider分析。但是一些简单的动态页面比如翻页等动态异步就不用大动干戈的使用Selenium等测试工具框架模拟浏览器执行js操作,直接发送post请求即可。下面介绍中基协的异步翻页爬取:创建爬虫不再赘述。一、页面分析1.首先右键=...原创 2019-01-22 14:40:21 · 5250 阅读 · 3 评论