python错误：requests.exceptions.HTTPError: 418 Client Error

最新推荐文章于 2024-09-21 19:30:56 发布
最新推荐文章于 2024-09-21 19:30:56 发布
阅读量2.8k 收藏 2
点赞数
分类专栏： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/seilinme/article/details/115054582
版权 
res = requests.get(url)
res.raise_for_status()

执行后抓取没有结果，提示如下：

一般是网站存在反爬虫机制，请求消息里没带浏览器信息，需模拟浏览器访问，加一个headers，把浏览器信息写进去

获取headers的方法：

加入headers时，注意是一个字典类型，代码如下：

headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) '
                         'Chrome/89.0.4389.90 Safari/537.36 Edg/89.0.774.57'}
url = 'https://www.douban.com/photos/photo/2630242246/#image'
res = requests.get(url, headers=headers)
res.raise_for_status()

 

seilinme
关注
专栏目录
http.client.IncompleteRead: IncompleteRead(0 bytes read)
12-21
在Python的网络编程中，`http.client.IncompleteRead: IncompleteRead(0 bytes read)` 错误通常发生在尝试读取HTTP响应时，服务器没有按预期发送完整的数据。这个错误是由于HTTP分块传输编码（Chunked Transfer ...
pycharm使用遇到问题
balabalabubu1的博客
11-12 235
module ‘pip’ has no attribute ‘main’ 原因：pip版本过高，降低pip版本 win+R---->cmd---->python -m pip install --upgrade pip==9.0.3 ModuleNotFoundError: No module named ‘pandas’ 原因：运行文件时，使用到了pandas包但未安装 pycharm中，File—>settings—> 包下载缓慢 更改pip源为国内源 紧接上一步+后 点击+添
打开网站URL遇到“HTTP Error 418：”问题
shenyuan12的专栏
08-06 1万+
问题：urllib.error.HTTPError: HTTP Error 418: 程序： import urllib.request response=urllib.request.urlopen('https://movie.douban.com/') html=response.read().decode('utf8') print(html) 运行程序读取网页时显示： “HTTP Error 418:”应该是网站的反爬程序返回的。 在使用浏览器访问网站时，访问请求中包含请求头。检
【HTTP】构造HTTP请求和状态码
最新发布
Yeeear的博客
09-21 2万+
状态码（200、404、403、405、500、504、302、301），Location 和构造HTTP请求的方法（第三方工具和代码构造）
python状态码418_python爬取网页时返回http状态码HTTP Error 418
weixin_35190276的博客
02-04 7413
问题：urllib.error.HTTPError: HTTP Error 418:问题描述：当我使用Python的request爬取网页时返回了http状态码为418,错误描述：经过网上查询得知，418的意思是被网站的反爬程序返回的，网上解释为，418 I‘m a teapotThe HTTP 418 I‘m a teapot client error responsecode indicate...
python爬取网页时返回“HTTP Error 418：”
weixin_46545887的博客
10-24 5273
HTTP状态码418是一个非标准的HTTP状态码，被定义为"I’m a teapot"（我是一个茶壶）。这个状态码源自1998年的一个愚人节笑话，被写入了RFC 2324，Hyper Text Coffee Pot Control Protocol（超文本咖啡壶控制协议）。在实际的Web开发中，有些网站可能会使用这个状态码作为反爬虫策略的一部分。当服务器返回418状态码时，可能是因为服务器认为你的请求是一个爬虫，而不是一个正常的用户请求。
HTTP Error 418：418是个啥！
shi_jiaye的博客
07-28 2万+
HTTP Error 418 在学习爬虫时，我们首先学习获取网站页面的html代码： from urllib import request resp = request.urlopen('https://movie.douban.com/nowplaying/hangzhou/') html_data = resp.read().decode('utf-8') print(html_data) 一般来说，我们通过以上的代码会爬取到网站页面的html代码。 但，通过运行后报错HTTP Error 418。
pythonPost请求处理和get请求.zip
04-25
在Python中，我们可以使用内置的`http.client`模块或者第三方库如`requests`来实现HTTP请求，包括GET和POST方法。本文将详细讨论这两种方法以及如何在Python3中实现它们。 1. GET请求 GET是最常见的HTTP请求方法，...
expo-server-sdk-python:指数服务器SDK
05-14
指数服务器SDK Python 这个仓库由世博会的真棒社区维护 :smiling_face_with_heart-eyes: ！ 因此，如果您对该存储库中的代码有疑问，请随时提出一个问题并进行PR。... exceptions import ConnectionError , HTTP
Python库 | flask_restless_client-0.4.3-py2.py3-none-any.whl
02-16
- **错误处理**：当HTTP请求失败时，库会抛出相应的异常，如`requests.exceptions.HTTPError`。 - **异步操作**：如果需要，可以结合`asyncio`库实现异步请求。 5. **与其他库的集成** `flask_restless_client`...
all-hail-sage:http的一些有用的函数定义
06-01
- `urllib.error.HTTPError`: 当HTTP请求返回非200状态码时，会抛出这个异常。 2. **requests库**： - `requests.get(url)`: 发送一个GET请求到指定的URL，返回一个`Response`对象。 - `requests.post(url, data...
Python爬虫的urllib.error.HTTPError: HTTP Error 418错误
热门推荐
SeveCc博客
02-10 3万+
在家办公无聊，最近开始研究了下Python,刚了解了下爬虫，想自己尝试下，一上来就来了一个418的错误。 from urllib.request import urlopen url = 'https://movie.douban.com/top250?start=%s&filter=' ret = urlopen(url) aa = ret.read().decode('utf-8')...
python网页运行代码返回结果防攻击_python爬取网页时返回http状态码HTTP Error 418
weixin_39630909的博客
12-04 306
问题：urllib.error.HTTPError: HTTP Error 418:问题描述：当我使用Python的request爬取网页时返回了http状态码为418,错误描述：经过网上查询得知，418的意思是被网站的反爬程序返回的，网上解释为，418 I'm a teapotThe HTTP 418 I'm a teapot client error responsecode indicate...
python接口自动化（一） 发送get请求; 状态码对照表；
weixin_44732155的博客
01-07 98
参考：https://www.cnblogs.com/du-hong/category/1413482.htmlrequsts.它是一个Python第三方库，处理URL资源特别方便。参考：https://requests.readthedocs.io/zh_CN/latest/user/quickstart.html一、环境安装安装requestspip install requests二、ge...
使用request.get()请求发生418错误
weixin_52331696的博客
04-19 873
解决：添加相应的请求头，去模拟真实的游览器，欺骗服务器，获取一直内容。原因：网站反爬虫机制返回的。
Python:爬取数据出现response.status_code为418解决方法
码农研究僧的博客
09-23 6642
目录前言1. 原理2. 代码 前言 在进行数据爬取的时候，出现如下错误，一直显示response.status_code为418 1. 原理 执行程序的时候一直返回418，最根本的原因是因为网站的反爬程序返回的结果 查询溯源，其解释权为 418 I’m a teapot The HTTP 418 I’m a teapot client error response code indicates that the server refuses to brew coffee because it is a
Conda创建虚拟环境Http错误解决方法
柠檬的博客~~~
11-17 2368
Conda创建虚拟环境Http错误解决方法
response.json()方法报错requests.exceptions.JSONDecodeError: Expecting value: line 1 column 1 (char 0)
06-01
当使用`response.json()`方法解析请求返回的响应数据时，如果响应数据不是合法的JSON数据格式，则会出现`JSONDecodeError`异常。这种情况通常发生在服务器返回的响应数据不是JSON格式数据时，或者在网络传输过程中出现了数据损坏等问题。 为了解决这个问题，您可以使用`try except`语句来捕获异常，并在出现异常时进行相应的处理。以下是一个示例代码，用于捕获`JSONDecodeError`异常并记录日志： ```python from locust import HttpUser, task, between import json import logging class MyUser(HttpUser): wait_time = between(1, 2.5) @task def post_request(self): headers = { "Authorization": "Bearer your_token", "Content-Type": "application/json" } data = { "key": "value" } response = self.client.post("/your-post-endpoint", headers=headers, json=data) # 断言请求返回的状态码是否为200 assert response.status_code == 200 # 解析请求返回的JSON格式数据 try: response_data = response.json() except json.JSONDecodeError: # 记录日志并忽略该请求 logging.error("Failed to parse response data as JSON: %s", response.text) return # 断言请求返回的JSON格式数据中是否包含了指定的键值对 assert "result" in response_data assert response_data["result"] == "success" ``` 在上面的示例代码中，我们使用`try except`语句来捕获`JSONDecodeError`异常。如果出现异常，则记录日志并忽略该请求。否则，我们继续使用`assert`语句断言请求返回的JSON格式数据是否符合预期。 通过这种方式，您可以避免由于响应数据不是合法的JSON格式数据而导致测试失败的情况。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值