![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Scrapy
文章平均质量分 52
scrapy
Adolf_1993
这个作者很懒,什么都没留下…
展开
-
scrapy中selenium的使用
【代码】scrapy中selenium的使用。原创 2024-06-15 22:48:09 · 318 阅读 · 0 评论 -
Scrapy爬取图片重写管道并保存
【代码】Scrapy爬取图片重写管道并保存。原创 2024-06-14 08:55:10 · 124 阅读 · 0 评论 -
scrapy 手动发起GET POST请求
可以用于发送更灵活的 POST 数据,如 JSON 数据或自定义的请求头。data = {url,body=json.dumps(data), # 转换为JSON。原创 2024-06-12 22:52:28 · 341 阅读 · 0 评论 -
scrapy meta 和 cb_kwargs参数
更适合传递较多或较复杂的数据,因为它是一个字典,可以在多个回调函数之间共享和修改。 更适合传递少量的简单数据,因为它直接将数据作为函数参数传递,便于访问 使用 可以让代码更加简洁和可读,回调函数的参数一目了然。 使用 需要通过 来访问数据,稍显繁琐,但更灵活。 可以与 Scrapy 的其他功能(如中间件和扩展)很好地兼容,因为许多 Scrapy 功能依赖于 字典。 主要用于传递回调函数需要的特定数据,不会与其他功能产生冲突。原创 2024-06-12 22:36:24 · 346 阅读 · 0 评论 -
scrapy设置headers和cookies
0. 在settings.py中设置。原创 2024-06-12 20:06:51 · 336 阅读 · 0 评论 -
Scrapy第一个项目
1. 安装scrapy pip install scrapy 2. 创建项目的命令 scrapy startproject - 示例: scrapy startproject myscrapyPro3.创建爬虫 cd 进到项目名 执行: scrapy genspider 示例:原创 2022-12-06 11:41:08 · 238 阅读 · 1 评论