python抓取网页返回状态码418

最新推荐文章于 2023-10-24 21:53:41 发布
最新推荐文章于 2023-10-24 21:53:41 发布
阅读量5.8k 收藏 1
点赞数 1
分类专栏： Python 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41054556/article/details/104945158
版权

错误

python抓取网页返回状态码418，意思是被网站的反爬程序返回的

解决：

添加请求头headers信息

import requests

headers={'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36'}

res = requests.get(url,headers=headers)
sunmm5203
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
python爬取网页时response.status_code返回418，文件读取写入
01-20
问题： response.status_code为418 问题描述： 当我使用Python的requests爬取网页时response和soup都是None，检查后发现response.status_code为418 错误描述： 经过网上查询得知，418的意思是被网站的反爬程序返回的，网上解释为，418 I’m a teapot The HTTP 418 I’m a teapot client error response code indicates that the server refuses to brew coffee because it is a teapot. This
python——urllib.error.HTTPError: HTTP Error 418错误
qq_41440031的博客
08-18 1647
源代码如下： from urllib.request import urlopen, Request url = 'https://movie.douban.com' ret = Request(url, headers=headers) res = urlopen(ret) aa = res.read().decode('utf-8') print(aa) 报错： Traceback (most recent call last): File "G:\python练习空间\电影爬虫\tes
python爬取网页时返回“HTTP Error 418：”
最新发布
weixin_46545887的博客
10-24 3921
HTTP状态码418是一个非标准的HTTP状态码，被定义为"I’m a teapot"（我是一个茶壶）。这个状态码源自1998年的一个愚人节笑话，被写入了RFC 2324，Hyper Text Coffee Pot Control Protocol（超文本咖啡壶控制协议）。在实际的Web开发中，有些网站可能会使用这个状态码作为反爬虫策略的一部分。当服务器返回418状态码时，可能是因为服务器认为你的请求是一个爬虫，而不是一个正常的用户请求。
python状态码418_python爬取网页时返回http状态码HTTP Error 418
weixin_35190276的博客
02-04 7279
问题：urllib.error.HTTPError: HTTP Error 418:问题描述：当我使用Python的request爬取网页时返回了http状态码为418,错误描述：经过网上查询得知，418的意思是被网站的反爬程序返回的，网上解释为，418 I‘m a teapotThe HTTP 418 I‘m a teapot client error responsecode indicate...
python抓取状态码418 | 豆瓣小王子评论抓取 |评分总和
czh的博客
04-28 5111
场景：爬取豆瓣评论，状态码为418 一、常见的HTTP状态码 HTTP状态码的英文为HTTP Status Code。 HTTP状态码共分为5种类型： 常见的HTTP状态码： 200 - 请求成功 301 - 资源（网页等）被永久转移到其它URL 404 - 请求的资源（网页等）不存在 500 - 内部服务器错误 （来源：https://www.runoob.com/http/http-status-codes.html） ...
打开网站URL遇到“HTTP Error 418：”问题
热门推荐
shenyuan12的专栏
08-06 1万+
问题：urllib.error.HTTPError: HTTP Error 418: 程序： import urllib.request response=urllib.request.urlopen('https://movie.douban.com/') html=response.read().decode('utf8') print(html) 运行程序读取网页时显示： “HTTP Error 418:”应该是网站的反爬程序返回的。 在使用浏览器访问网站时，访问请求中包含请求头。检
Python requests获取网页常用方法解析
09-17
Python的requests库是进行HTTP请求的强大工具，特别适合用于网页数据的抓取。在本篇文章中，我们将深入探讨如何使用requests库获取网页内容，并通过具体的示例代码进行详细解析。 首先，我们需要导入requests库，这...
python获取整个网页源码的方法
09-16
在这个例子中，`scanpage`函数不仅获取了指定网页的源码，还进一步查找了页面上的所有链接，并尝试访问它们，记录每个链接的状态码。`BeautifulSoup`用于解析HTML，找到所有的`<a>`标签（即链接），然后对这些链接...
Python-weixinlogin微信网页授权实现扫码登录
08-10
本文将深入探讨如何使用Python来实现微信网页授权的扫码登录功能。这个过程涉及到的主要知识点包括OAuth2.0授权框架、微信开放平台API以及Python的请求库。 微信网页授权是微信提供的一种服务，允许第三方网站通过...
python爬虫爬取网页表格数据
09-20
在本例中，我们将重点讨论如何使用Python爬虫来抓取网页中的表格数据。Python提供了多个库来辅助这一过程，如BeautifulSoup和requests，这两个库在上述代码中被广泛使用。 首先，`requests`库用于发送HTTP请求并...
Python基于递归实现电话号码映射功能示例
09-20
在Python编程中，递归是一种强大的技术，它允许函数调用自身来解决复杂的问题。在这个例子中，我们探讨的是如何使用递归方法来实现电话号码到字母的映射功能。电话键盘上的每个数字通常对应一组字母，比如数字2对应...
HTTP常见状态码（404、400、500）等错误
yhr0322的博客
11-14 844
一些常见的状态码为： 200 - 服务器成功返回网页 404 - 请求的网页不存在 503 - 服务不可用 详细分解 1xx（临时响应） 表示临时响应并需要请求者继续执行操作的状态代码。 代码 说明 100 （继续） 请求者应当继续提出请求。服务器返回此代码表示已收到请求的第一部分，正在等待其余部分。 101 （切换协议） 请求者已要求服务器切换协议，服务器已确认并准备切换。 2xx （成功） 表...
NPM 开发者遭遇“418 我是茶壶”错误码；Git 曝任意代码执行漏洞，所有使用者都受影响...
redditnote的博客
05-31 3129
（点击上方蓝字，快速关注我们）转自：开源中国、solidot、cnBeta、腾讯科技等0、NPM 开发者遭遇“418 我是茶壶”错误码IETF 的愚人节笑话“418 我是...
python爬虫中如何解决418问题
Z_suger7的博客
02-10 3375
最近在批量获取微博数据的过程中会阶段性的报418错误，一开始并没有什么影响，但是长时间报错感觉会消耗任务，还是有点影响。所以就进行了解决问题之路。 因为418第一次遇到，还不了解这个状态码的意思所以百度了下，原来状态码4**表示出错，网站的反爬程序返回的。第一反应是不是代理的原因导致的，所以咨询了使用的亿牛云代理，他们技术通过测试发现跟代理没有关系。所以我对自己的python库的版本进行了检查，发现库的版本有点旧了，于是更新的版本，并且补充上headers，目的是模拟浏览器，欺骗服务器，获取和浏览器一致的
从418 I‘m a teapot想到的
HermitSun的博客
07-20 3618
下午不知道咋回事就想到了这个状态码，突然好奇有没有人用，就简单了解了一下它的来历，以及思考了一下它的使用场景。 事实上，418甚至都不算是一个HTTP的状态码。它来源于当年的一个愚人节玩笑，所谓的“超文本咖啡壶控制协议”，Hyper Text Coffee Pot Control Protocol。在这个协议里规定了两种错误状态码，一种是406 not acceptable（当然，含义与HTTP的不同），另一种就是这次的418 I’m a teapot，表示服务器是一个茶壶，不能煮咖啡。 这当然是一个玩笑
python爬虫——requests状态码418
面包猎人
11-09 5092
问题描述   使用requests库爬取某个豆瓣电影评论，status_code码为418   根据官方文档显示，status_code为200时表示get成功。查了一下官方github的issue（像“愉快地讨论”问题）以及其他资料，发现418就是爬取的网站有反爬取机制，然后我就被KO了～ 解决方案   方法很easy～就是添加请求header的UserAgent防止被反爬虫识别。获取本机UserAgent信息，由于我的浏览器是Chrome，直接在浏览器地址栏添加chrome://version/即可查
python 使用requests库，以及请求报错问题解决
技术前端，忠于热爱 @回忆哆啦没有A梦
10-14 5321
python 使用requests库，以及请求报错问题解决。（响应状态418，请求异常，SSL错误，证书认证失败问题：exceptions.SSLError: HTTPSConnectionPool(host=‘httpbin.org’, port=443): Max retries exceeded with url: /get (Caused by SSLError(SSLError(1, ‘[SSL: WRONG_VERSION_NUMBER] wrong version number (_ssl.c
爬取网页时，报错出现404或者418问题
m0_63097763的博客
06-15 3272
出现该错误其实就是，该网页发现这是一个爬虫程序被识别出来，阻止爬取数据。解决方法：1）：添加headers代码段。 如果仍然出现错误，可能是访问次数太多而被网页识别，需要在网页中找到 Cookie 属性并添加到 headers中 添加之后应该就可以正常运行了。...
python requests 获取返回错误码
09-05
要在Python中使用requests库获取返回的错误码，可以使用以下代码： 引用: 使用get方法发送HTTP请求，并指定一个不存在的URL，例如' http://httpbin.org/status/404'。这将返回一个404错误码。 ``` import requests bad_r = requests.get('http://httpbin.org/status/404') print(bad_r.status_code) ``` 上述代码中，我们发送了一个get请求到指定URL，并将返回的结果赋值给变量`bad_r`。然后，我们可以通过`status_code`属性来获取返回的错误码。在这个例子中，返回的错误码是404。 所以，通过使用`bad_r.status_code`，我们可以获取到Python requests获取返回的错误码。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *3* [Python爬虫库requests获取响应内容、响应状态码、响应头](https://blog.csdn.net/weixin_39957934/article/details/111760341)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] - *2* [requests获取所有状态码](https://blog.csdn.net/weixin_39647787/article/details/111760374)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值