urllib.error.HTTPError: HTTP Error 418:

最新推荐文章于 2021-10-05 00:28:12 发布
最新推荐文章于 2021-10-05 00:28:12 发布
阅读量1.6k 收藏 4
点赞数 4
分类专栏： python # python爬虫 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_42595637/article/details/113461197
版权

学习爬虫urllib库
访问豆瓣的测试，遇到了urllib.error.HTTPError: HTTP Error 418:的错误
遇到错误时的代码：
错误
错误提醒：
在这里插入图片描述
经上网查询，418错误可能为反爬虫机制的的结果，因此我们要设置为复杂访问信息，即添加请求头信息。
请求头信息获取方法：
打开浏览器任一网页，F12快捷键进入开发者模式，Network标签下打开任意请求，找到user-agent，如下图所示：
在这里插入图片描述
修改代码：
在这里插入图片描述
这次运行成功，看到html.txt文件所在目录与文件内容如下：
在这里插入图片描述

在这里插入图片描述

Gwyneth_Yu
关注
  • 4
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
打开网站URL遇到“HTTP Error 418：”问题
shenyuan12的专栏
08-06 1万+
问题：urllib.error.HTTPError: HTTP Error 418: 程序： import urllib.request response=urllib.request.urlopen('https://movie.douban.com/') html=response.read().decode('utf8') print(html) 运行程序读取网页时显示： “HTTP Error 418:”应该是网站的反爬程序返回的。 在使用浏览器访问网站时，访问请求中包含请求头。检
Python爬虫的urllib.error.HTTPError: HTTP Error 418错误
SeveCc博客
02-10 3万+
在家办公无聊，最近开始研究了下Python,刚了解了下爬虫，想自己尝试下，一上来就来了一个418的错误。 from urllib.request import urlopen url = 'https://movie.douban.com/top250?start=%s&filter=' ret = urlopen(url) aa = ret.read().decode('utf-8')...
python爬取网页时返回http状态码HTTP Error 418以及如何查看自己的User-Agent
weixin_47008635的博客
05-12 5198
** 问题：urllib.error.HTTPError: HTTP Error 418: ** 问题描述：当我使用Python的request爬取网页时返回了http状态码为418, 错误描述：经过网上查询得知，418的意思是被网站的反爬程序返回的，网上解释为，418 I’m a teapot The HTTP 418 I’m a teapot client error response code indicates that the server refuses to brew coffee becau
HTTP Error 418：418是个啥！
shi_jiaye的博客
07-28 1万+
HTTP Error 418 在学习爬虫时，我们首先学习获取网站页面的html代码： from urllib import request resp = request.urlopen('https://movie.douban.com/nowplaying/hangzhou/') html_data = resp.read().decode('utf-8') print(html_data) 一般来说，我们通过以上的代码会爬取到网站页面的html代码。 但，通过运行后报错HTTP Error 418。
Python爬虫的urllib.error.HTTPError: HTTP Error 403/418解决方案
极客园地
05-15 2746
文章目录一、伪装成浏览器进行请求二、随机获取浏览器信息三、总结 豆瓣网一般是新手容易上手的爬虫网站，并不是因为它反爬机制做的不够好，而是因为它采取了内容开放的运营策略，愿意分享给我们它的数据。 以前是很容易爬取豆瓣网的电影信息，最近可能是豆瓣网升级了反爬机制，直接请求数据会发生urllib.error.HTTPError: HTTP Error 403/418的错误 #!/usr/bin/env python # coding:utf8 import sys reload(sys) sys.setdefa
网络爬虫urllib.error.HTTPError: HTTP Error 403: Forbidden的问题方法
junkmachine的博客
08-16 1万+
今天学习《Python网络爬虫权威指南》第三章的时候，在写爬取wiki网站的代码时遇到了问题：urllib.error.HTTPError: HTTP Error 403: Forbidden。通过在网上查阅资料，问题出在了我们直接urlopen提出访问申请是非正常的申请，缺少网站需要的信息，会被拒接访问： 之所以出现上面的异常,是因为如果用 urllib.request.urlopen 方式打开一个URL,服务器端只会收到一个单纯的对于该页面访问的请求,但是服务器并不知道发送这个请求使用的浏览器,操作系
Python urllib.request对象案例解析
12-17
刚刚接触爬虫，基础的东西得时时回顾才行...2. urllib.error 异常处理模块 3. urllib.parse url 解析模块 4. urllib.robotparser robots.txt 解析模块 Urllib 库下的几种模块基本使用如下： urllib.request 关于 urlli
urllib:在复杂的环境中请求HTTP URL
04-29
urllib 在复杂的环境中请求HTTP URL-基本... // you need to handle error } console . log ( res . statusCode ) ; console . log ( res . headers ) ; // data is Buffer instance console . log ( data . toS
解决pythonSSL问题，pip，easy_install无法联网
06-04
只需要把这个代码下载后放到C:\Python27\Scripts中，或者没有安装pip和easy_install时放在C:\Python27中都可，然后用命令行安装python SSLproblem.py 然后一切问题就都解决了
对python3 urllib包与http包的使用详解
09-20
`urllib.error` 定义了在处理 URL 时可能遇到的异常，比如 `URLError` 和 `HTTPError`。当请求失败或出现错误时，这些异常会被抛出。 #### 1.3 `urllib.parse` `urllib.parse` 模块提供了解析、构建和规范化 URL ...
python 爬虫基础入门 (十二)
鱼的博客
11-18 1287
世界上80%的爬虫是基于Python开发的，学好爬虫技能，可为后续的大数据分析、挖掘、机器学习等提供重要的数据源。 整理这个文档资料希望能对小伙伴有帮助。 什么是爬虫？ 网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。 其实通俗的讲就是通过程序去获取web页面上自己想要的数据，也就是自动抓取数据 爬虫可以做什么？ 你可以爬去妹子的图片，爬取自己想看看的视
Python爬虫（三）——URLError和HTTPError异常处理
浅然的专栏
11-01 2万+
一、URLError造成原因 本地网络未连接 服务器不存在 连接不到特点的服务器 既然异常处理就会使用到try/except，下面简单介绍try/except捕获异常二、try/except异常捕获使用try/except来捕捉异常检测try语句块中的错误，从而让except语句捕获异常信息并且处理，当然如果不想在异常发生使结束程序，可以只用try来捕获三、简单的URLError比如下面是我在本机断
urllib 的异常错误处理（总结）
小羽飞的博客
05-18 4919
在我们用 urlopen 或 opener.open 方法发出一个请求时，如果 urlopen 或 opener.open 不能处理这个 response，就产生错误。 这里主要说的是 URLError 和 HTTPError，以及对它们的错误处理。 一、URLError URLError 产生的原因主要有： 没有网络连接 、服务器连...
Python爬虫入门之六urllib的异常错误处理
weixin_30352645的博客
11-24 1084
URLError和HTTPError 在我们用urlopen或opener.open方法发出一个请求时，如果urlopen或opener.open不能处理这个response，就产生错误。 这里主要说的是URLError和HTTPError，以及对它们的错误处理。 URLError URLError 产生的原因主要有： 1.没有网络连接 2.服务器连接失败 3.找不到指定的服务器 我们可以用try...
python爬取图片提示urllib.error.HTTPError: HTTP Error 403: Forbidden解决
b05511693894607562的博客
06-17 4307
最近在使用python爬去妹子图片的时候，抛出了Traceback (most recent call last): File "meinv.py", line 108, in <module> main() File "meinv.py", line 104, in main imghandle.run() File "meinv.py", line 96...
conda环境安装python库时报错：ERROR: HTTP error 404 while getting https://pypi.tuna.tsinghua.edu.cn/packages
Enoch
10-05 1万+
conda环境安装meditorch时：清华源404 如果以下不能解决： https://blog.csdn.net/weixin_43220532/article/details/116485911 https://www.cnblogs.com/summer1019/p/13370474.html https://blog.csdn.net/weixin_41010198/article/details/88740150 尝试： 直接指定其他源，比如豆瓣，后面加上 -i https://pypi.dou
[Python从零到壹] 六.网络爬虫之BeautifulSoup爬取作者个人博客网站详解
杨秀璋的专栏
02-17 1万+
前一篇文章讲述了BeautifulSoup技术，它是一个可以从HTML或XML文件中提取数据的Python库，一个分析HTML或XML文件的解析器，包括安装过程和基础语法。这篇文章将详细讲解 BeautifulSoup 爬取作者个人博客网站，通过案例的方式让大家熟悉Python网络爬虫，同时作者博客网站也是非常适合入门的案例，也能普及简单的预处理知识。 希望对您有所帮助
urllib.error.HTTPError: HTTP Error 403: Forbidden（已解决）
热门推荐
漫步量化
01-17 4万+
urllib.request.urlopen 方式打开一个URL,服务器端只会收到一个单纯的对于该页面访问的请求,但是服务器并不知道发送这个请求使用的浏览器,操作系统,硬件平台等信息,而缺失这些信息的请求往往都是非正常的访问,例如爬虫. 有些网站为了防止这种非正常的访问,会验证请求信息中的UserAgent(它的信息包括硬件平台、系统软件、应用软件和用户个人偏好),如果UserAgent存在异常或...
urllib.error.HTTPError: HTTP Error 403: Forbidden
framic的博客
11-26 6186
urllib.error.HTTPError: HTTP Error 403:Forbidden 解决403错误：需要通过添加头文件的方式 有错误： import urllib.request url = "http://blog.csdn.net/bo_wen_/article/details/50868339" response = urllib.request.urlopen(
urllib.error.httperror: http error 418:
最新发布
03-16
这个错误是指你的请求已经成功地发送到服务器，但服务器拒绝响应，而是返回了一个HTTP 418错误响应。HTTP 418错误通常是作为一种“恶作剧”的形式使用，也称为“我是一个茶壶”的错误，因为在HTTP规范中没有定义它的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值