如何解决python爬虫requests.get()遇到的418问题

最新推荐文章于 2023-10-24 21:53:41 发布
最新推荐文章于 2023-10-24 21:53:41 发布
阅读量9.4k 收藏 25
点赞数 6
分类专栏： Python 文章标签： python http
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43144769/article/details/105715728
版权

如何解决python爬虫——遇到requests.get()访问得到418问题

在爬虫时候，通过requests.get()得到不正确的状态码：
4**：表示出错

当我们在爬虫时候遇到418问题：
在这里插入图片描述
解决方法：
补充上headers: 目的是模拟浏览器，欺骗服务器，获取和浏览器一致的内容
代码修改为：

import requests

url ='https://book.douban.com/tag/小说'<
最低0.47元/天 解锁文章
Rong~
关注
专栏目录
Python:爬取数据出现response.status_code为418解决方法
码农研究僧的博客
09-23 6558
目录前言1. 原理2. 代码 前言 在进行数据爬取的时候，出现如下错误，一直显示response.status_code为418 1. 原理 执行程序的时候一直返回418，最根本的原因是因为网站的反爬程序返回的结果 查询溯源，其解释权为 418 I’m a teapot The HTTP 418 I’m a teapot client error response code indicates that the server refuses to brew coffee because it is a
Python requests 抓取网页状态返回418(亲测)
gb4215287的博客
06-28 1362
是被网站反爬程序返回的 解决： 添加请求头headers信息 import requests headers={'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36'} res = requests.get(url,headers=headers) ——————————————...
python爬虫----- Response [418]
d_eng_的博客
05-27 1475
错误代码418 修改之前的代码，无信息打印及错误信息提示，打印res，获取错误代码418： import requests import bs4 def down_douban_moviename(): res = requests.get("https://movie.douban.com/top250") soup = bs4.BeautifulSoup(res.text,"html.parser") targets = soup.find_all("div",class_="
【解决办法】爬虫 python 抓取网页数据时，状态码为418
qq_41654485的博客
04-06 1469
import requests headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36'} r = requests.get( '你要抓取数据的链接' , headers=headers) r.status_code r.text 只需加上头部信息【橙色显示两行代码】即可， .
python爬取网页时response.status_code返回418，文件读取写入
01-20
问题： response.status_code为418 问题描述： 当我使用Python的requests爬取网页时response和soup都是None，检查后发现response.status_code为418 错误描述： 经过网上查询得知，418的意思是被网站的反爬程序返回的，网上解释为，418 I’m a teapot The HTTP 418 I’m a teapot client error response code indicates that the server refuses to brew coffee because it is a teapot. This
python爬取网页时返回“HTTP Error 418：”
weixin_46545887的博客
10-24 4830
HTTP状态码418是一个非标准的HTTP状态码，被定义为"I’m a teapot"（我是一个茶壶）。这个状态码源自1998年的一个愚人节笑话，被写入了RFC 2324，Hyper Text Coffee Pot Control Protocol（超文本咖啡壶控制协议）。在实际的Web开发中，有些网站可能会使用这个状态码作为反爬虫策略的一部分。当服务器返回418状态码时，可能是因为服务器认为你的请求是一个爬虫，而不是一个正常的用户请求。
python_code_418
weixin_33962923的博客
04-18 264
1. print for x in range(1,11) if x % 2 == 0 输出1-10内的偶数 转载于:https://www.cnblogs.com/njuzwr/p/4437666.html
【python】爬虫 404 200 961 418 都啥意思
DFminer
05-08 507
【python】爬虫 404 200 961 418 都啥意思
Python爬虫入门教程：超级简单的Python爬虫教程.pdf
最新发布
03-20
### Python爬虫入门教程知识点详解 #### 一、理解网页结构 在进行Python爬虫开发之前，首先要了解网页的基本构成。网页通常包含三个主要部分：HTML（超文本标记语言）、CSS（层叠样式表）以及JavaScript（一种常用...
初次接触python爬虫requests.get涉及的UA（浏览器标识信息）问题
myself029的博客
04-17 1万+
初次接触学习崔大神的python爬虫时候，其中利用requests.get进行网页抓取时候涉及UA（浏览器标识信息）问题。开始没有看明白，大神也只是简单提示爬虫的时候必须添加，其他息没有提示。最后自己给也给忽视了。今天学习别人的爬虫代码，又碰到了上面类似的 UA 代码，不理解。所以百度了下，下面分享下，供IT小白同道人参考。1.什么是UA User Agent中文名为用户代理，简称 UA，它是一个...
解决python爬虫requests.exceptions.SSLError: HTTPSConnectionPool(host=‘XXX‘, port=443)问题
echohye的博客
01-04 3890
requests.exceptions.SSLError: HTTPSConnectionPool(host='img001.arc-theday.com', port=443): Max retries exceeded with url: /images/comic/193/384543/1557910165o_6UxaVFXV-tqq2f.jpg (Caused by SSLError(SSLError(1, '[SSL: INVALID_SESSION_ID] invalid session id
Python爬虫requests返回值为空的解决方案
热门推荐
weixin_43178406的博客
05-24 3万+
本文主要介绍了requests返回值为空的解决方案，希望能对学习爬虫的同学们有所帮助。需要说明的是，该方案适合无需进行登录账户等其他操作就能通过浏览器看到网站内容的情况，而不适用更加复杂的场景。 文章目录 1. 问题描述 2. 解决方案
关于反爬虫报错418处理
Xiang_lhh的博客
04-07 6354
如果正常爬虫 import requests import time from bs4 import BeautifulSoup url='https://blog.csdn.net/Xiang_lhh/article/details/104940609' resp=request.get(url) bs=BeautifulSoup(resp,'lxml')#使用beautifulsoup解析返回...
python爬虫——requests状态码418
面包猎人
11-09 5312
问题描述   使用requests库爬取某个豆瓣电影评论，status_code码为418   根据官方文档显示，status_code为200时表示get成功。查了一下官方github的issue（像“愉快地讨论”问题）以及其他资料，发现418就是爬取的网站有反爬取机制，然后我就被KO了～ 解决方案   方法很easy～就是添加请求header的UserAgent防止被反爬虫识别。获取本机UserAgent信息，由于我的浏览器是Chrome，直接在浏览器地址栏添加chrome://version/即可查
使用request.get()请求发生418错误
weixin_52331696的博客
04-19 823
解决：添加相应的请求头，去模拟真实的游览器，欺骗服务器，获取一直内容。原因：网站反爬虫机制返回的。
Python爬虫HTTP异常：rllib.error.HTTPError: HTTP Error 418，伪装User-Agent以及fake-useragent插件的妙用
Java Punk
09-26 3316
通过本篇，你将学会如何将自己的【爬虫程序伪装成浏览器请求】，巧妙运用 fake-useragent 插件，并且学会破解【身份鉴别】类的反爬虫程序。
Python requests 抓取网页状态返回418
JIE_W的博客
04-27 880
是被网站反爬程序返回的 解决： 添加请求头headers信息 import requests headers={'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36'} ...
python爬虫课件.pdf下载
09-07
想要下载Python爬虫课件.pdf，可以通过以下几个步骤来完成。 首先，确定你已经安装了Python的开发环境。你可以从Python的官方网站上下载对应的安装程序并进行安装。 接着，需要安装PyPDF2这个Python库，这是一个处理PDF文件的库。你可以使用以下命令来安装PyPDF2： ``` pip install PyPDF2 ``` 安装完成后，你可以在Python的交互式环境或者一个Python脚本中导入PyPDF2库。 然后，可以使用Python的requests库来发送HTTP请求并下载PDF文件。你可以使用以下代码来实现： ```python import requests url = "这里填入你要下载的课件的URL" response = requests.get(url) # 指定下载到本地的文件路径 pdf_file_path = "这里填入你要保存的PDF文件的路径" # 以二进制写入模式打开文件，并将响应内容写入文件中 with open(pdf_file_path, "wb") as f: f.write(response.content) print("下载完成！") ``` 在代码中，你需要将"这里填入你要下载的课件的URL"替换成实际的课件下载链接，将"这里填入你要保存的PDF文件的路径"替换成你希望将PDF文件保存到的路径。 最后，运行这段代码，Python将会发送请求并下载PDF文件到指定路径。 希望以上内容对你有所帮助，祝你成功下载Python爬虫课件.pdf！
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值