学习爬虫urllib库
访问豆瓣的测试,遇到了urllib.error.HTTPError: HTTP Error 418:的错误
遇到错误时的代码:
错误提醒:
经上网查询,418错误可能为反爬虫机制的的结果,因此我们要设置为复杂访问信息,即添加请求头信息。
请求头信息获取方法:
打开浏览器任一网页,F12快捷键进入开发者模式,Network标签下打开任意请求,找到user-agent,如下图所示:
修改代码:
这次运行成功,看到html.txt文件所在目录与文件内容如下:
urllib.error.HTTPError: HTTP Error 418:
最新推荐文章于 2024-07-02 12:36:15 发布
本文介绍了在使用Python的urllib库进行网页抓取时遇到HTTPError 418错误的问题。该错误通常由于网站的反爬虫机制引起。通过设置复杂的请求头信息,特别是添加'user-agent'字段,可以成功规避此类问题。作者通过实例展示了如何从浏览器获取请求头并应用到爬虫代码中,最终成功解析网页内容。
摘要由CSDN通过智能技术生成