http协议-学习笔记

请求头常见参数:
在http协议中,向服务器发送一个请求,数据分为三部分,第一个是把数据放在URL中,第二个是把数据放在body中(在post请求中),第三个就是把数据放在head中。这里介绍在网爬虫中经常会用到的一些请求头参数:
1.user- Arent:浏览器名称。这个在网络爬虫中经常会被使用到。请求一个网页的到时候,服务器通过这个参数就可以知道这个请求是由哪种刘览器发送的。如果我们是通过爬虫发送请求,那么我们的user-agent就是 Python,这对于那些有反爬虫机制的网站来说,可以轻易的判断你这个请求是爬虫。因此我们更经常设置这个值为一些浏览器的值,来伪装我们的爬虫。
2. Referer:表明当前这个请求从那个url过来的,这个一般也可以用来做反爬虫技术。如果不是从指定面过来的,那么就不做相关的响应。
3. Cookie:http协议是无状态的。也就是同一个人发送了两次请求,服务器没有能力知道这两个请求是否来自同一个人,因此这时候款用cookie来做标识。一般如果想要做登录后才能访问的网站,那么就需更发送cookie信息了
常见响应状态码:
1、200:请求正常,服务器正常的返回数据。
2、301:永久重定向比加在访问www.jingdong.com的时候会重定向到www.jd.com
3、302:临时重定问。比如在访问一个需要登录的页面的时候,而此时没有登录,那么就会重定向到登录页面
4、400:请求的u1在服务器上找不到。换句话说就是请求ur1错误
5、403:服务器拒绝访问,权限不够。
6、500:服务器内部错误。可能星服务器出现bug了