HTTP协议介绍

1、认识HTTP协议
2、URL组成部分详解
3、常用的请求Method
4、常用的请求参数
5、常用的响应状态码
6 \chrome抓包工具

1.HTTP协议:全称(HyperText Transfer Protocol),中文意思是超文本传输协议,是一种发布和接收HTML(HyperText Markup Language)页面的方法,服务器端口为80.
HTTPS协议:是HTTP协议的加密版本,在HTTP下加入了SSL层.服务器端口是443端口

2.URL是(Uniform Rescue Locator)的简写,统一资源定位符,一个URL由已下几种部分组成:
1.scheme:代表的是访问协议,一般为HTTP或HTTPS以及ftp等
2.host:主机名,域名,比如:www.baidu.com
3.port:端口号,当你访问一个浏览器的时候,浏览器默认使用80端口.(浏览器会自动帮我们输入端口)
4.path:查找路径,比如:www.jianshu.com/trending/now,后面的trending/now就是path
5.query-string:查询字符串,比如:www.baidu.com/s?wd=Python (后面的wd=Python)就是查询字符串
6.anchor:锚点,前端用来做页面定位.现在一些前后端分离项目,也用锚点来做导航
在浏览器中请求一个url,浏览器会对这个url进行一个编码.除英文字母,数字和部分符号外,其他全部使用百分号+十六进制编码值进行编码

3.常见的请求Method
在Http协议中,定义了八种请求方法.这里介绍两种常用的请求方法,分别是get请求和post请求.
get请求:一般情况下,只从服务器获取数据下来,并不会对服务器资源产生任何影响的时候会使用get请求.
post请求:向服务器发送数据(登录)上传文件等,会对服务器资源产生影响的时候会使用post请求.以上是网站开发常用的两种方法
并且一般情况下都会遵循使用的原则,但是有的网站和服务器为了做反爬机制,也经常会不按常理出牌,有可能一个应该使用get方法的请求就一定要改成post请求,这个要视情况而定.

常见的请求头方式:
在HTTP协议中,向服务器发送一个请求,数据分为三部分,第一是把数据放在url中,第二个是把数据放在body(在post请求中),第三就是把数据放在head中,这里介绍在网络爬虫中,经常会出现的一些请求头参数:
1:User-Agent: 浏览器名称,这个在网络爬虫中经常会被使用到请求的一个网页的时候,服务器通过这个参数就可以知道这个请求是由哪种浏览器发送的,如果我们是通过爬虫发送请求,那么我们的User-Agent就是Python,这对于那些有反爬机制的网站来说,可以轻易的判断你这个请求是[爬虫,因此我们要经常设置这个值为浏览器的值,来伪装我们的爬虫.
2.Referer: 表明当前这个请求是从哪一个url过来的,这个一般也可以用来做反爬技术,如果不是从指定页面过来的,那么就不会做相关的响应
3.Cookie http协议是无状态的,也就是同一个人发送了两次请求,服务器没有能力知道这两个请求是否来自同一人,因此这时候就用Cookie来做标识,一般如果想要登录后访问的网站,那么就需要发送Cookie信息

常见的响应状态码
200:请求成功,服务器正常的返回数据
301:永久重定向.比如访问:www.jingdong.com的时候会重定向到www.jd.com
302:临时重定向,比如在访问一个需要登录的页面的时候,而此时没有登录,那么就会重定到登录页面
404:请求的url在服务器上找不到.换句话是就是请求url错误
403:服务器拒绝访问,权限不够
500:服务器内部错误,可能是服务器出现bug了

**Element:**可以帮助我们分析网页结构,获取我们想要的数据.但是Elements下最终呈现的网页数据,有时候网页数据是通过Ajax请求得到的,因此Elements下的数据不能完全相信
Console: 用来打印网页的一些信息
Sources: 整个网页所加载的所有文件
Network: 查看整个网页发送的所有网络请求,一般我们想要看某个请求信息,都可以到这个里面去看