urllib.error.HTTPError: HTTP Error 418:

本文介绍了在使用Python的urllib库进行网页抓取时遇到HTTPError 418错误的问题。该错误通常由于网站的反爬虫机制引起。通过设置复杂的请求头信息,特别是添加'user-agent'字段,可以成功规避此类问题。作者通过实例展示了如何从浏览器获取请求头并应用到爬虫代码中,最终成功解析网页内容。
摘要由CSDN通过智能技术生成

学习爬虫urllib库
访问豆瓣的测试,遇到了urllib.error.HTTPError: HTTP Error 418:的错误
遇到错误时的代码:
错误
错误提醒:
在这里插入图片描述
经上网查询,418错误可能为反爬虫机制的的结果,因此我们要设置为复杂访问信息,即添加请求头信息。
请求头信息获取方法:
打开浏览器任一网页,F12快捷键进入开发者模式,Network标签下打开任意请求,找到user-agent,如下图所示:
在这里插入图片描述
修改代码:
在这里插入图片描述
这次运行成功,看到html.txt文件所在目录与文件内容如下:
在这里插入图片描述

在这里插入图片描述

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值