scrapy shell加入user_agent

最新推荐文章于 2023-02-10 16:35:23 发布
最新推荐文章于 2023-02-10 16:35:23 发布
阅读量911 收藏 1
点赞数
分类专栏： Python进阶__多维认知 文章标签： user_agent scrapy shell
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41000891/article/details/85578061
版权

我们在运用scrapy shell调试的时候，通常会遇到返回的response的状态码为302，这是因为没有加User_Agent的原因。比如爬取拉勾网的时候，没加请求头给我返回302重定向，如图： 

所以我们可以在进行scrapy shell 调试的时候，加入User_Agent进行伪装:

scrapy shell -s USER_AGENT="Mozilla/5.0 (Windows NT 10.0; …) Gecko/20100101 Firefox/60.0" 你需要爬取的url

接着就可以正常进行网站的爬取了：

 

 

AlexGeek
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
scrapy中shell出现403解决方案
jixn的博客
02-21 9047
我们使用scrapy shell来进行调试是很方便的，但是有时会出现403错误的问题，我们来解决这个问题： 出现403，表示网站拒绝提供服务 因为有的网站有反爬机制，当你使用scrapy shell的时候是以是scrapy爬虫的标识进行访问网站的，这时候网站会拒绝为爬虫提供服务，这时候就会返回403错误 下面列举三个方案来解决这个问题，三个方案的原理都是一样的，即修改user-agent的值，使...
Scrapy爬虫框架使用时设置User-agent和Cookies（包含scrapy shell）
weixin_43710676的博客
05-19 2051
学习用scrapy写爬虫时遇到了网站的反爬，需要自定义下用户代理和Cookies，改掉Scrapy工程里的设置后发现Scrapy Shell并没有跟着被设置，需要单独修改，这里记录在一起。 包括两部分的设置，一个是Scrapy工程本身，一个是Scrapy shell的设置。 Pycharm Scrapy工程 打开settings.py 设置USER_AGENT = ‘Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36
Scrapy shell 如何添加 User_Agent?
Mrrrrr10's Blog
08-10 3937
让scrapy shell 不再返回302
scerpy中设置使用user-agent池
weixin_56572337的博客
02-10 951
scrapy之使用user-agent池
跟宁哥学python scrapy爬虫开发
12-12
本课程使用Python3讲解 本课程使用Python3作为编程语言，详细介绍了Python Scrapy安装、Python Scrapy的核心组件和中间件、Python Scrapy Item Pipeline、下载器、调度器、Spider等技术的使用方法，并对如何配置Scrapy做了深入的讲解。
第八章：scrapy框架_第八章：scrapy框架.zip_
10-03
中间件可以用于修改Request对象、处理Response对象、实现反爬策略（如User-Agent旋转）等。 最后，Scrapy提供了命令行工具，如`scrapy crawl`用于运行Spider，`scrapy shell`用于快速测试选择器，以及`scrapy ...
scrapy_Python的爬虫框架Scrapy_scrapy_
10-03
例如，可以使用User-Agent中间件模拟浏览器行为，或者使用Retry中间件处理网络错误。 7. **Scrapy Shell** Scrapy Shell是一个交互式环境，用于调试和测试XPath或CSS选择器。你可以直接在Shell中输入URL，获取响应...
chuanzhi_scrapy.zip
07-29
Middleware可以用来处理请求和响应，例如设置User-Agent以模拟浏览器行为、处理重定向、处理验证码等。 除了基本组件，Scrapy还有其他高级特性，如Feed Exports（数据导出），可以方便地将抓取的数据导出到各种格式...
单独使用scrapy实现简单爬虫
06-23
- 在`middlewares.py`中，可以编写自定义中间件来处理请求和响应，实现如请求重试、动态IP代理、User-Agent切换等高级功能。 8. **运行爬虫**： - 在命令行或PyCharm中，通过`scrapy crawl [spider_name]`命令...
Scrapy Web爬虫框架 v1.8.0
09-29
9. **Scrapy Shell**：Scrapy Shell是一个交互式的命令行工具，用于快速测试和调试XPath或CSS选择器，帮助开发者更便捷地进行数据提取。 10. **Downloader Middleware**：下载器中间件主要处理下载过程，包括请求的...
scrapy随机user-agent
04-16
scrapy随机更换user-agent
Shell脚本实现自动修改IP、主机名等功能分享
09-15
主要介绍了Shell脚本实现自动修改IP、主机名等功能分享,本文直接给出实现代码,需要的朋友可以参考下
网络爬虫day10
纸鸢栀年°的博客
09-24 403
DAY10 Day09回顾 scrapy框架 五大组件 引擎（Engine） 爬虫程序（Spider） 调度器（Scheduler） 下载器（Downloader） 管道文件（Pipeline） # 两个中间件 下载器中间件（Downloader Middlewares） 蜘蛛中间件（Spider Middlewares） 工作流程 1、Engine向Spider索要URL,交给Sche...
用Scrapy shell调试xpath
热门推荐
孔天逸'Blog
01-17 1万+
昨日一道友问我会不会用scrapy shell检查xpath，我表示没搞过，都是直接在代码里硬怼，尴尬。然而其实也没什么难的，在这记录一下方法。首先还是安利一下国内翻译的scrapy文档，虽然最新的翻译版本是1.0版，scrapy已经出到1.3版，但是这份文档仍然非常好用，只是有些版本差异带来的小坑。 在命令行键入scrapy shell进入scrapy shell终端，如果你安装了IPython，
Scrapy shell调试返回403错误
fendo
04-17 1万+
一、问题描述 有时候用scrapy shell来调试很方便,但是有些网站有防爬虫机制,所以使用scrapy shell会返回403,比如下面 C:\Users\fendo>scrapy shell https://book.douban.com/subject/26805083/ 2017-04-17 15:18:53 [scrapy.utils.log] INFO: Scra
Scrapy中设置User-Agent(本文主要目的是学习如何为爬虫程序的每次请求随机分配User-Agent)
sinat_41701878的博客
05-13 1万+
初学scrapy中,以为在settings.py中的USER_AGENT = 'xxxx'  设置随机的User-Agent(UA)可以达到每次请求都有不同的UA的效果.>>>>>其实不是,这只能在每次运行时随机调用其中的一个UA.(看图)(在spider中打印User-Agent看看究竟)(可以看到每次运行scrapy时会有不同的User-Agent)(改改代码,设...
scrapy shell的settings user_agent问题
qq_23392341的博客
07-26 740
scrapy shell http://weibo.com scrapy shell 调试，使用xpath表达式返回不了想要的结果。 还是要修改useragent，要改成浏览器才行。要不有些伪装的好的网站虽然 response返回的200没有问题， 但是可以用response.text查看response的文本，完全不是爬取的那个网页的文本，这就是服务器知道你是爬虫，就骗你，返回了个不一致的
scrapy在爬取网页时使用随机user-agent方法
sakila的专栏
09-16 8294
转载 默认情况下scrapy采集时只能使用一种user-agent，这样容易被网站屏蔽，下面的代码可以从预先定义的user-agent的列表中随机选择一个来采集不同的页面 在settings.py中添加以下代码DOWNLOADER_MIDDLEWARES = { 'scrapy.contrib.downloadermiddleware.useragent.UserAgentMid
scrapy shell使用方法（十）
大大枫free
05-19 432
回顾（九） settings.py常用变量 【1】settings.py中常用变量 2.1) 设置日志级别 LOG_LEVEL = '' 2.2) 保存到日志文件(不在终端输出) LOG_FILE = '' 2.3) 设置数据导出编码(主要针对于json文件) FEED_EXPORT_ENCODING = 'utf-8' 2.4) 设置User-Agent USER_AGENT = '' 2.5)
scrapy中的user_agent用户浏览器
最新发布
04-02
Scrapy是一个基于Python的网络爬虫框架。在Scrapy中，用户可以设置一个user_agent来模拟浏览器的行为，从而避免被一些网站屏蔽。 下面是一个示例代码，用于在Scrapy中设置user_agent： ```python import scrapy class MySpider(scrapy.Spider): name = 'myspider' start_urls = ['http://www.example.com'] def start_requests(self): for url in self.start_urls: yield scrapy.Request(url, headers={ 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3' }) def parse(self, response): # 解析响应数据 pass ``` 在上面的代码中，我们定义了一个Spider类，其中设置了一个start_urls属性（需要根据实际情况修改），用于指定需要爬取的网站。在start_requests()方法中，我们使用了yield关键字来生成一个scrapy.Request对象，并通过headers参数设置了User-Agent。 在Scrapy中，用户可以根据自己的需要来修改User-Agent，以便更好地模拟浏览器行为，从而爬取到更多的数据。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AlexGeek

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值