scrapy的手动请求发送实现全站数据爬取

最新推荐文章于 2024-06-12 22:52:28 发布
最新推荐文章于 2024-06-12 22:52:28 发布
阅读量187 收藏
点赞数
分类专栏： scrapy
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_49487589/article/details/116724642
版权
本文介绍了如何使用Scrapy进行手动请求，以爬取一个段子库的全站数据。首先，文章说明了Scrapy在访问和数据分析上的基本操作，然后详细阐述了如何处理分页问题，通过手动发送GET/POST请求来遍历所有页面。作者创建了一个测试工程，并在爬虫文件中进行了相应的修改，包括设置解析函数、递归处理页码等。在手动请求部分，提到了callback的使用和formdata参数的设置。最后，作者分享了完整代码，并对遇到的问题进行了总结，指出在解析时要注意某些内容可能嵌套在其他元素中导致解析异常。
摘要由CSDN通过智能技术生成

测试

目的是使用scrapy爬取段子库单品类全数据。

结构

scrapy能够访问和数据分析，问题在于怎么去到下一页再次调用。一是手动将分页网址粘贴到start_urls中，一是使用手动发送请求。

  • 创建测试工程，创建爬虫文件，settings.py三步修改

在这里插入图片描述

  • 对段子库中对应页码网址的数据进行爬取解析

在这里插入图片描述

  • 修改items.py，回到爬虫文件导入模块并提交管道

在这里插入图片描述

  • settings.py里将item打开

在这里插入图片描述

  • 页码递归，限定条件
    在这里插入图片描述
    在这里插入图片描述

在这里插入图片描述

手动请求的方式（get/post）

yield scrapy.Request(url,callback)：GET callback指定解析函数，用于解析数据

yield scrapy.FormRequest(url,callback,formdata):POST formdata字典，请求参数，在这里不能使用request中的data=data，formdata是制定参数

start_urls列表中的url会被自动进行get请求，是因为列表中的url其实是被start_requests这个父类方法实现的get请求发送

def start_requests(self):
        for u
最低0.47元/天 解锁文章
小黑班♪(･ω･)ﾉ
关注
专栏目录
16-爬虫之scrapy框架手动请求发送实现全站数据爬取03
gemoumou的python学习实记
08-30 444
scrapy的手动请求发送实现全站数据爬取 创建一个爬虫工程：scrapy startproject proName 进入工程目录创建爬虫源文件：scrapy genspider spiderName www.xxx.com 执行工程：scrapy crawl spiderName
python爬虫-scrapy基于Spider类的全站数据爬取
m0_46500590的博客
02-16 425
很多时候，在我们爬取一些网站时，都会发现他们有多页的数据，通过观察能够发现，不同页的url之间有相似之处的，而且网页的url和对应的页码也是有关系的。所以之前我们会做一个循环，遍历所有页面中的数据 当我们使用scrapy框架处理多页数据时有两种方法 将每一页对应的url存放到爬虫文件的start_urls，但如果页数较多时，列表就会变得很大 使用Request方法手动发起请求（推荐使用） ...
Scrapy 框架 手动发送请求 POST 请求的发送
weixin_30312563的博客
07-01 110
手动发送请求 import scrapy from choutiSpider.items import ChoutispiderItem class ChoutiSpider(scrapy.Spider): name = 'chouti' # allowed_domains = ['www.xxx.com'] start_ur...
Scrapy 框架 手动发送请求 POST 请求的发送
weixin_33795743的博客
04-22 123
手动发送请求 import scrapy from choutiSpider.items import ChoutispiderItem class ChoutiSpider(scrapy.Spider): name = 'chouti' # allowed_domains = ['www.xxx.com'] start_urls = ['https://dig.**...
scrapy通过手动请求传参来实现全站深度爬取
SpringBears的博客
04-21 373
- 基于Spider父类进行全站数据的爬取 - 全站数据的爬取：将所有页码对应的页面数据进行爬取 - 手动请求的发送（get）： yield scrapy.Request(url,callback) - 对yield的总结： - 向管道提交item的时候：yield item - 手动请求发送：yield scrapy.Req...
scrapy 手动发起GET POST请求
最新发布
nnjy_1993的博客
06-12 423
可以用于发送更灵活的 POST 数据，如 JSON 数据或自定义的请求头。data = {url,body=json.dumps(data), # 转换为JSON。
Python爬虫 scrapy框架（二）全站数据爬取 五大核心组件 请求传参meta 爬取图片ImagesPipeline 反爬机制：图片懒加载
qq_38232003的博客
12-16 538
scrapy框架 基于Spider全站数据爬取 将网站中某板块下的全部的页码对应的页面数据进行爬取。 实现方式： 将所有页码的url添加到start_urls 列表（不推荐） 自行手动进行请求的发送（推荐） yield scrapy.Request(url=new_url, callback=self.parse) #callback 用于数据解析 案例 爬取 www.521609.com/tuku/mxxz/index.html 下所有页码的图片名称 scrapy startproject xh
scrapy之——基于Spider的全站数据爬取(分页的应用)
qq_43278562的博客
04-08 476
基于Spider的全站数据爬取： 就是将网站中某板块下的全部页码对应的页面数据进行爬取 实现方式： 将要爬取的所有页面的URL添加到start_urls列表（不推荐） 自行手动进行请求发送 yield scrapy.Request(url=new_url,callback=self.parse) 需求：爬取校花网中明星写真板块下的所有得套图名称。 url：http://www.521609.com/tuku/mxxz/ 代码如下： 首先创建项目：scrapy startprojec.
02-15 scrapy-手动发送请求（get）（爬取多页+递归解析）
weixin_46400833的博客
02-16 916
一、如何手动爬取重点 1、使用场景： 爬取多个页码（有很多页的网页）对应的页面源码数据 2、url构造 ①进入网页的起始url （起始urlscrapy会自动发送请求） ②定义一个通用的url模板（多个url时需手动发送请求） 3、递归根式函数 yield scrapy.Request(url,callback) 其中解析函数parse为递归函数 4、scrapy一般发送get请求 发送post请求如下（不常用）： data={ #post请求的参数 'kw':'xxx' }
Python爬虫从入门到精通:（31）sscrapy的手动请求发送（爬取多页）_Python涛哥
tao5090694的博客
10-13 427
我们之前用scrapy爬取过某网的段子，还记得怎么爬取吗？ 爬虫网站代码(spiders/duanzi.py)： import scrapy # 这里需要导入items.py文件包 from duanziPro.items import DuanziproItem class DuanziSpider(scrapy.Spider): name = 'duanzi' # allowed_domains = ['www.xxx.com'] start_urls = ['https:/
scrapy数据建模与请求
m0_47170642的博客
07-26 366
爬虫之scrapy数据建模与请求 1. 数据建模 通常在做项目的过程中，在items.py中进行数据建模 1.1 为什么建模   1、定义item即提前规划好哪些字段需要抓，防止手误，因为定义好之后，在运行过程中，系统会自动检查   2、配合注释一起可以清晰的知道要抓取哪些字段，没有定义的字段不能抓取，在目标字段少的时候可以使用字典代替   3、使用scrapy的一些特定组件需要Item做支持，如scrapy的ImagesPipeline管道类，百度搜索了解更多 1.2 如何建模 在items.py文件
小爬爬6.scrapy回顾和手动请求发送
weixin_30871905的博客
06-03 100
1.数据结构回顾 #栈def push(self,item) def pop(self) #队列 def enqueue(self,item) def dequeue(self) #列表 def add(self,item) 2.回顾scrapy - 创建工程：scrapy startproject ProName - 创建爬虫文件 - cd ProNam...
scrapy如何GET和POST请求
pythoncsdn111的博客
07-23 2250
post请求 class FanyiSpider(scrapy.Spider): name = 'fanyi' allowed_domains = ['baidu.com'] # start_urls = ['https://fanyi.baidu.com/sug'] # 引擎调度起来以后首先会从start_urls中提取起始url然后发起get请求，现在把这个属性...
scrapy请求发送详解
diaolouan9546的博客
08-09 390
scrapy自动发送请求 　　对start_urls列表中存储的起始url进行过请求的发送并没有通过手动实现，但是在parse函数中还是获取到了响应数据，这是因为爬虫文件中的爬虫类继承到了Spider父类中的start_requests（self）这个方法，该方法就可以对start_urls列表中的url发起请求： 1 def start_requests(self): 2...
scrapy爬虫框架安装与应用（包括post请求、递归访问http）
李永昌的博客
03-06 1416
scrapy爬虫框架安装与应用（包括post请求、递归访问http）
Python爬虫：Scrapy的get请求和post请求
热门推荐
彭世瑜的博客
11-08 1万+
scrapy 请求继承体系 Request |-- FormRequest get请求 from scrapy import Spider, Request, cmdline class SpiderRequest(Spider): name = "spider_request" def start_requests(self): url = "http...
如何利用scrapy发送post请求?(以微博为例)
qq_38661599的博客
07-12 5744
1.引导默认情况下，scrapy都是采用GET请求。那么如何利用scrapy发送post请求呢?2.主要代码如下wb.py import scrapy, re from urllib.parse import quote from scrapy.http import FormRequest from ..items import WeibospiderItem class WbSpider...
Python爬虫——9.scrapy框架get/post请求
编程我在行
01-17 5275
接触了这么久的scrapy框架，你是否会疑惑，在scrapy底层，代码到底是怎么运行的呢？原来由一个起始url，通过scrapy.Request()函数会默认封装为一个get请求对象，该对象触发找到引擎模块scrapy.engine，引擎模块指向调度模块scrapy.schedule，调度模块接收到后对start_urls列表进行有序排列，然后将信息返回给引擎，引擎转而启动下载模块进行数据的采集，
Scrapy实战一:GET方法爬取CSDN主页动态数据
狗蛋的学习笔记
01-28 4637
声明：本人也是一个爬虫新手，有些地方可能写的并不好，望各位大佬见谅。第一步：抓包因为是动态页面，所以我们需要通过抓包来找到每次发送的请求内容，以及接口url。 1.这里采用了FIddler工具进行抓包，滚动CSDN主页，查看第一次刷新出来的数据： 2.接下来查看Fiddler工具抓到的请求数据以及接口url： 发送的请求数据： 3.拿到接口url后，放到浏览器上访问一下：https://
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值