![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python-scrapy
耿子666
这个作者很懒,什么都没留下…
展开
-
Scrapy框架(八)下载中间件(Downloader Middlewares)的使用
(1)前言先祭出框架图:下载中间件(Downloader Middlewares) 位于scrapy引擎和下载器之间的一层组件。作用:(1)引擎将请求传递给下载器过程中, 下载中间件可以对请求进行一系列处理。比如设置请求的 User-Agent,设置代理等(2)在下载器完成将Response传递给引擎中,下载中间件可以对响应进行一系列处理。比如进行gzip解压等。我们主要使用下载中间件处理请求,一...原创 2018-04-16 23:34:22 · 17051 阅读 · 0 评论 -
scrapy-redis案例(一)爬取中国红娘相亲网站
前言:本案例将分为三篇。第一篇,使用scrapy框架来实现爬取中国红娘相亲网站。第二篇,使用scrapy-redis 简单的方式爬取中国红娘相亲网站。(使用redis存储数据,请求具有持续性,但不具备分布式)第三篇,使用scrapy-redis 分布式的方法爬取中国红娘相亲网站。(1)准备工作爬取网站地址:http://www.hongniang.com/index/search?sort=0&a...原创 2018-04-23 17:53:15 · 11903 阅读 · 1 评论 -
scrapy-redis案例(二)爬取中国红娘相亲网站
前言:本案例将分为三篇。第一篇,使用scrapy框架来实现爬取中国红娘相亲网站。第二篇,使用scrapy-redis 简单的方式爬取中国红娘相亲网站。(使用redis存储数据,请求具有持续性,但不具备分布式)第三篇,使用scrapy-redis 分布式的方法爬取中国红娘相亲网站。(1)祭出scrapy-redis 的框架图scrapy-redis 只是在scrapy 的基础上增加了reids 的扩...原创 2018-04-23 20:06:47 · 11986 阅读 · 0 评论 -
python-scrapy模拟登陆网站--登陆青果教务管理系统(三)
前言:第一篇,分析青果教务管理系统登陆模块,理清思路第二篇,使用常规的python常用库 requests来实现模拟登陆第三篇,使用scrapy来实现模拟登陆目的在于了解模拟登陆网站的要点和方法,了解http请求的一些知识。(1)scrapy模拟登陆依然按照上一篇的思路,我们编写代码即可。这里我就不啰嗦了。就放下spider 的代码# -*- coding: utf-8 -*-from _mys...原创 2018-04-30 22:21:51 · 12384 阅读 · 1 评论 -
Scrapy 练习(一)下载壁纸图,使用ImagesPipeline
(1)准备工作我们准备爬取的网站:https://alpha.wallhaven.cc/random分析该网站图片的标签: 这是一张图片的标签<html> <head></head> <body> <li class=""> <figure class="thumb thumb-316105 thumb-sfw原创 2018-04-13 23:53:33 · 11654 阅读 · 0 评论 -
scrapy-redis案例(三)爬取中国红娘相亲网站
前言:本案例将分为三篇。第一篇,使用scrapy框架来实现爬取中国红娘相亲网站。第二篇,使用scrapy-redis 简单的方式爬取中国红娘相亲网站。(使用redis存储数据,请求具有持续性,但不具备分布式)第三篇,使用scrapy-redis 分布式的方法爬取中国红娘相亲网站,并使用mysql将数据持久化。(1)修改第二篇的代码为scrapy-redis 分布式的代码废话不多说,从setting...原创 2018-04-24 21:45:20 · 12680 阅读 · 0 评论 -
python-scrapy模拟登陆网站--登陆青果教务管理系统(一)
前言:第一篇,分析青果教务管理系统登陆模块,理清思路第二篇,使用常规的python常用库 requests来实现模拟登陆第三篇,使用scrapy来实现模拟登陆目的在于了解模拟登陆网站的要点和方法,了解http请求的一些知识。(1)本例子背景介绍青果教务管理系统是许多大学正在使用的教务管理系统,现在市面上我知道使用比较多的两个教务系统,一个是青果教务管理系统(大概几百所,我大概查了查),一个是正方教...原创 2018-04-28 21:38:53 · 31073 阅读 · 5 评论 -
python-scrapy模拟登陆网站--登陆青果教务管理系统(二)
前言:第一篇,分析青果教务管理系统登陆模块,理清思路第二篇,使用常规的python常用库 requests来实现模拟登陆第三篇,使用scrapy来实现模拟登陆目的在于了解模拟登陆网站的要点和方法,了解http请求的一些知识。(1)前期工作该篇最好参考下源码理解查看,源码在文章最后。上一篇我们说明了模拟登陆青果教务系统需要注意的问题。那么我们就先把,密码验证码的加密,保存验证码图片等先写一下测试一下...原创 2018-04-29 22:49:07 · 13332 阅读 · 1 评论