Python:爬取数据出现response.status_code为418解决方法

最新推荐文章于 2024-07-02 22:49:22 发布
最新推荐文章于 2024-07-02 22:49:22 发布
阅读量6.5k 收藏 11
点赞数 6
分类专栏： BUG 文章标签： python 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_47872288/article/details/120434748
版权
在Python爬虫过程中遇到HTTP状态码418的问题，根源是网站的反爬策略。通过了解，418是服务器识别到爬虫请求导致的。解决方法是模拟浏览器头部信息，在请求头中添加User-Agent，以避免被识别为爬虫。代码中展示如何修改请求头来添加User-Agent，确保爬取成功。
摘要由CSDN通过智能技术生成

目录

前言

在进行数据爬取的时候，出现如下错误，一直显示response.status_code为418
在这里插入图片描述

1. 原理

执行程序的时候一直返回418，最根本的原因是因为网站的反爬程序返回的结果
查询溯源，其解释权为

418 I’m a teapot
The HTTP 418 I’m a teapot client error response code indicates that the server 
refuses to brew coffee because it is a teapot. This error is a reference to Hyper 
Text Coffee Pot Control Protocol which was an April Fools’ joke in 1998

网址中添加了反爬程序识别，我们爬取数据的时候会返回418的结果。
我们使用的请求requests由于没有添加请求头的一些信息，被反爬程序识别，而得到418结果

为了阻止这种结果，爬取成功，可以在请求头中加入一些信

了解本专栏 订阅专栏 解锁全文 超级会员免费看
码农研究僧
关注
专栏目录
订阅专栏
python爬取网页时response.status_code返回418，文件读取写入
01-20
问题： response.status_code为418 问题描述： 当我使用Python的requests爬取网页时response和soup都是None，检查后发现response.status_code为418 错误描述： 经过网上查询得知，418的意思是被网站的反爬程序返回的，网上解释为，418 I’m a teapot The HTTP 418 I’m a teapot client error response code indicates that the server refuses to brew coffee because it is a teapot. This
python抓取状态码418 | 豆瓣小王子评论抓取 |评分总和
czh的博客
04-28 5294
场景：爬取豆瓣评论，状态码为418 一、常见的HTTP状态码 HTTP状态码的英文为HTTP Status Code。 HTTP状态码共分为5种类型： 常见的HTTP状态码： 200 - 请求成功 301 - 资源（网页等）被永久转移到其它URL 404 - 请求的资源（网页等）不存在 500 - 内部服务器错误 （来源：https://www.runoob.com/http/http-status-codes.html） ...
AxiosError {message: ‘Request failed with status code 419‘解决方法！
最新发布
youfatherme的博客
07-02 501
今天一整个下午都在搜AxiosError {message: 'Request failed with status code 419', name: 'AxiosError', code: 'ERR_BAD_REQUEST'真的太难了，每个博主的方法的试过，也去哔哩哔哩看过很多Axios的请求写法和跨域解决方法，然而并没有什么卵用。最后也问了ChatGPT,稍微做了点修改，最终才成功的。2、port属性的值如下所示，不是固定的，你们的端口号可能和我不一样。此时已经晚上23点多了，我先睡了。
python——爬取网页时response.status_code为418
weixin_43902320的博客
02-16 1万+
问题： response.status_code为418 问题描述： 当我使用Python的requests爬取网页时response和soup都是None，检查后发现response.status_code为418 错误描述： 经过网上查询得知，418的意思是被网站的反爬程序返回的，网上解释为，418 I’m a teapot The HTTP 418 I’m a teapot client e...
爬虫：报错418
天玑的博客
12-06 2431
通过设置User-Agent头部信息为一个常见的浏览器User-Agent，如上述的Mozilla/5.0，你让请求看起来像是来自一个普通的浏览器，而不是爬虫。当你在进行网络爬虫时，有些网站会根据请求的User-Agent头部信息来判断是否是一个合法的请求。100 Continue：服务器已接收到请求的初始部分，并且客户端应继续发送其余部分。400 Bad Request：服务器无法理解客户端的请求，可能是语法错误等。201 Created：请求已经被实现，并且在服务器上创建了一个新的资源。
python爬取网页时返回“HTTP Error 418：”
weixin_46545887的博客
10-24 4754
HTTP状态码418是一个非标准的HTTP状态码，被定义为"I’m a teapot"（我是一个茶壶）。这个状态码源自1998年的一个愚人节笑话，被写入了RFC 2324，Hyper Text Coffee Pot Control Protocol（超文本咖啡壶控制协议）。在实际的Web开发中，有些网站可能会使用这个状态码作为反爬虫策略的一部分。当服务器返回418状态码时，可能是因为服务器认为你的请求是一个爬虫，而不是一个正常的用户请求。
解决Python爬取:response.status_code为418 问题
热门推荐
weixin_42422090的博客
03-07 1万+
** 问题1：初步解决响应状态418 ** python爬取豆瓣网站： url = ‘https://movie.douban.com/’ import requests url = 'https://movie.douban.com/top250' res =requests.get(url) print(res.status_code) 响应状态：418 正常返回状态应该是 200 问题解...
python爬虫----- Response [418]
d_eng_的博客
05-27 1470
错误代码418 修改之前的代码，无信息打印及错误信息提示，打印res，获取错误代码418： import requests import bs4 def down_douban_moviename(): res = requests.get("https://movie.douban.com/top250") soup = bs4.BeautifulSoup(res.text,"html.parser") targets = soup.find_all("div",class_="
Python requests 抓取网页状态返回418(亲测)
gb4215287的博客
06-28 1358
是被网站反爬程序返回的 解决： 添加请求头headers信息 import requests headers={'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36'} res = requests.get(url,headers=headers) ——————————————...
python爬虫——requests状态码418
面包猎人
11-09 5287
问题描述   使用requests库爬取某个豆瓣电影评论，status_code码为418   根据官方文档显示，status_code为200时表示get成功。查了一下官方github的issue（像“愉快地讨论”问题）以及其他资料，发现418就是爬取的网站有反爬取机制，然后我就被KO了～ 解决方案   方法很easy～就是添加请求header的UserAgent防止被反爬虫识别。获取本机UserAgent信息，由于我的浏览器是Chrome，直接在浏览器地址栏添加chrome://version/即可查
Python:爬取数据出现response.status_code为403解决方法
码农研究僧的博客
09-23 1万+
目录前言1. 原理2. 代码 前言 出现403的返回结果 主要是有些服务器为了防止访问量过大，承受服务器的压力，或者是拒绝你的访问。服务器接收到这个信息，理应返回了这个403的信息 在前一块的代码中解决了 Python:爬取数据出现response.status_code为418解决方法 如果还出现了403的访问错误 可以通过如下解决 1. 原理 服务器拒绝访问，可以通过给服务器登录，获取当前的cookie来得到网址的信任。得以爬取该网址的信息 在head头中加入cookie的信息 具体怎么查找该cooki
解决PYTHON爬取:RESPONSE.STATUS_CODE为418、403 问题
小火的博客
07-31 4231
问题1：初步解决响应状态418 python爬取豆瓣网站电影： url = ‘https://movie.douban.com/?start=0&filter=’ import requests url = 'https://movie.douban.com/top250?start=0&filter=' res =requests.get(url) print(res.status_code) 响应状态：418 正常返回状态应该是 200 问题解决参考链接： req
报错 process_response if response.status_code == 404 and self.should_redirect_with_slash(request)问题解决
heda3的博客
02-26 397
该文章介绍了Django项目中视图函数内数据返回应该使用的正确函数调用方式
如何解决python爬虫requests.get()遇到的418问题
gb4215287的博客
06-28 3771
如何解决python爬虫——遇到requests.get()访问得到418问题 在爬虫时候，通过requests.get()得到不正确的状态码： 4**：表示出错 403问题：服务器已经理解请求，但是拒绝执行它 418问题：网站的反爬程序返回的 其他HTTP状态码查找可以参考： https://baike.baidu.com/item/HTTP%E7%8A%B6%E6%80%81%E7%A0%81/5053660?fr=aladdin#4_19 当我们在爬虫时候遇到418问题： 解决方法： 补充上hea
python抓取网页返回状态码418
weixin_41054556的博客
03-18 5949
错误 python抓取网页返回状态码418，意思是被网站的反爬程序返回的 解决： 添加请求头headers信息 import requests headers={'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Saf...
requests.get()状态码418
jadeshu的博客
12-28 7395
需要添加头，浏览器 headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'} import requests import bs4 headers = {'User-Ag...
python 实现代码：当response.status_code == 404，continue
03-07
当response.status_code == 404时，代码会跳过当前循环，继续执行下一个循环。这是因为HTTP状态码404表示请求的资源不存在，所以我们可以在代码中通过continue语句跳过这个不存在的资源，继续执行后面的代码。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

码农研究僧

你的鼓励将是我创作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值