爬虫的http和https基础

最新推荐文章于 2024-03-29 12:08:24 发布

才不是小emo的小杨

最新推荐文章于 2024-03-29 12:08:24 发布

阅读量1.5k

点赞数 2

分类专栏：爬虫文章标签： http 爬虫 https

本文链接：https://blog.csdn.net/xiaoyang01234/article/details/134535597

版权

2 篇文章 0 订阅

订阅专栏

200 OK：这个是最常见的，也是爬虫工程师最喜欢的，代表你本次的请求顺利拿到了响应，没有任何问题
201 Created：201代表创建成功。通常是指浏览器或爬虫给服务器上传数据，服务器接受并验证数据没有问题之后，服务器返回客户端一个201，代表成功。提交数据，通常是POST方法提交
202 Accepted：服务器拿到了数据，但是还没处理好结果，所以先发回一个202.这个状态码一般在爬虫中看不到，但是适合在异步操作的情况下返回。

301 Moved Permanently：当前资源的网址永久性迁移，并且会给你一个新的网址。值得注意的是，如果是POST请求拿到301，则下一次请求自动变成GET。
301 Moved Permanently：当前资源的网址永久性迁移，并且会给你一个新的网址。值得注意的是，如果是POST请求拿到301，则下一次请求自动变成GET。
301 Moved Permanently：当前资源的网址永久性迁移，并且会给你一个新的网址。值得注意的是，如果是POST请求拿到301，则下一次请求自动变成GET。

400 Bad Request：错误请求，400系列最典型的，看到这个错误，要么是请求头参数不对，要么是请求主体的内容错误。
401 Unauthorized：401认证错误，这个还是非常好识别的，身份无法识别或者身份权限不够，检查请求头中的身份字段信息和Cookie值。
403 Forbidden：禁止访问，大并发爬虫中比较容易碰到，问题很直观，你访问太多了【换IP或电脑】，或者身份权限不够【换身份信息】。
404 Not Found：404找不到，这个错误不用太在意，用浏览器测试几次就好，要么是你的网址写错了，要么是网址对应的网络资源无法加载【这不怪程序】。
405 Method Not Allowed：405方法不被允许，简单且少见的错误，意思就是你请求的姿势不对，检查请求方法，如Get、Post、Put、Delete，总有一个是对的。

500 Internal Server Error：网络错误，就和你断网了一样，具体点就是你的网络和网址所在网络，无法连通。
502 Bad Gateway：网关错误，请求出去要被网关解析目的地址并转发你的请求，这个错误就是网关不工作了，无法把你的请求发出去。这里的网关，可以理解成你的路由器或者你用的代理IP服务器。
503 Service Unavailable：服务不可用，这个就是目标服务器的问题了，你要做的是通知网站管理员或者等。一般情况下，国家网站部分有休息时间，例如晚上关网。商业服务器的服务不可用，大多是升级或者临时卡了，可以过段时间再试。
504 Gateway Timeout：网关超时，这个504和502，都是网关的问题，但是又不一样。504是你找网关转发，你默认等待180秒【3分钟】，然后网关超时了没理你；502的问题是，你压根就找不到网关。
505 HTTP Version Not Supported：HTTP版本不支持，这个比较少见，但是肯定有。网站内容太新或者太旧，对客户端的http版本要求不一样。你需要检查下本次请求所使用的http版本，然后改成网站指定版本，就可以解决这个问题。