urllib.error.HTTPError: HTTP Error 418:
学习爬虫urllib库访问豆瓣的测试,遇到了urllib.error.HTTPError: HTTP Error 418:的错误遇到错误时的代码:错误提醒:经上网查询,418错误可能为反爬虫机制的的结果,因此我们要设置为复杂访问信息,即添加请求头信息。请求头信息获取方法:打开浏览器任一网页,F12快捷键进入开发者模式,Network标签下打开任意请求,找到user-agent,如下图所示:修改代码:这次运行成功,看到html.txt文件所在目录与文件内容如下:...
原创
2021-01-31 11:33:12 ·
1697 阅读 ·
1 评论