http协议:
-
http(Hypertext Transfer Protocol):超文本传输协议,是一种发布和接收HTML页面的方法,服务器端口是80。
-
https:HTTP协议的加密版本,在HTTP下加入了SSL层,服务器端口是443。
在浏览器中发送一个http请求的过程:
- 用户在浏览器的地址栏中输入一个url并回车,浏览器会向HTTP服务器发送HTTP请求,主要有get和post两种。
- 浏览器发送一个Request请求去获取对应的html文件,服务器把Response文件对象发送回给浏览器。
- 浏览器分析Response中的HTML,发现其中引用的其他文件,例如imagine文件,CSS文件等,浏览器会自动再次发送Request去获取相应的文件。
- 当所有文件都下载成功,网页就会根据html语法将页面显示出来。
url详解:
url(统一资源定位符)是Uniform Resource Locator的简写。
一个url由一下基本分组成:
scheme://host:port/path/?query-string=xxx#anchor
- scheme:代表访问的协议,例如http,https,ftp
- host:主机名,域名,例如www.baidu.com
- psot:端口号,在访问一个网站时,浏览器默认使用80端口
- path:查找路径
- query-string:查找字符串,例如www.baidu.com/s?wd=python
- anchor:锚点,前端用于页面定位使用
在浏览器中请求一个url,浏览器会对这个url进行编码。除了英文字母,数字和部分符号外,其余全部使用百分号+十六进制码值编码。
常用的请求方法:
在http协议中定义了8种请求方法,常用的有get请求和post请求。
- get:只从服务器获取数据,并不会对服务器资源产生影响
- post:向服务器发送数据(登录),上传文件等会对服务器资源产生影响
注:有的网站和服务器为了反爬虫,可能会不遵循使用原则,例如应该用get请求的时候改成一定要post请求,要根据情况而定
请求头常见参数:
在http协议中,向服务器发送一个请求,数据分为三部分:把数据放在url中,把数据放在body中,把数据放在head中。
网络爬虫中经常用到的请求头参数:
- User-Agent:浏览器名称。在爬虫过程中经常会使用到。在请求网页时,服务器通过这个参数获取这个请求是从哪种浏览器发送的。如果是通过爬虫发送请求,User-Agent的值就是Python,对于有反爬虫机制的网站就能判断出这个请求来自爬虫。因此需要经常设置User-Agent的值为一些浏览器的值来伪装我们的爬虫。
- Referer:表明当前的这个请求来自于哪个url。这个一般也可以用于反爬虫技术:如果不是从指定界面过来的就不做相关的响应。
- Cookie:http协议是无状态的。例如同一个人发送了两个请求,服务器没有办法判断这两个请求是否来自同一个人,因此用Cookie来作为标识。如果爬取需要登录后的网站,就需要发送Cookie信息
常见相应状态码:
- 200:正常请求,服务器正常的返回数据。
- 301:永久重定向。例如在访问www.jingdong.com的时候会重定向到www.jd.com。
- 302:临时重定向。例如在访问一个需要登录的页面时,如果此时没有登录,那么就会重定向到登录界面。
- 400:url错误。
- 403:服务器拒绝访问,权限不够。
- 500:服务器内部错误。