html和url

http协议:

• http（Hypertext Transfer Protocol）：超文本传输协议，是一种发布和接收HTML页面的方法，服务器端口是80。

• https：HTTP协议的加密版本，在HTTP下加入了SSL层，服务器端口是443。

在浏览器中发送一个http请求的过程：

1. 用户在浏览器的地址栏中输入一个url并回车，浏览器会向HTTP服务器发送HTTP请求，主要有get和post两种。
2. 浏览器发送一个Request请求去获取对应的html文件，服务器把Response文件对象发送回给浏览器。
3. 浏览器分析Response中的HTML，发现其中引用的其他文件，例如imagine文件，CSS文件等，浏览器会自动再次发送Request去获取相应的文件。
4. 当所有文件都下载成功，网页就会根据html语法将页面显示出来。

url详解：

url（统一资源定位符）是Uniform Resource Locator的简写。

一个url由一下基本分组成：

scheme://host:port/path/?query-string=xxx#anchor

• scheme：代表访问的协议，例如http，https，ftp
• host：主机名，域名，例如www.baidu.com
• psot：端口号，在访问一个网站时，浏览器默认使用80端口
• path：查找路径
• query-string：查找字符串，例如www.baidu.com/s?wd=python
• anchor：锚点，前端用于页面定位使用

在浏览器中请求一个url，浏览器会对这个url进行编码。除了英文字母，数字和部分符号外，其余全部使用百分号+十六进制码值编码。

常用的请求方法：

在http协议中定义了8种请求方法，常用的有get请求和post请求。

• get：只从服务器获取数据，并不会对服务器资源产生影响
• post：向服务器发送数据（登录），上传文件等会对服务器资源产生影响

注：有的网站和服务器为了反爬虫，可能会不遵循使用原则，例如应该用get请求的时候改成一定要post请求，要根据情况而定

请求头常见参数：

在http协议中，向服务器发送一个请求，数据分为三部分：把数据放在url中，把数据放在body中，把数据放在head中。

网络爬虫中经常用到的请求头参数：

1. User-Agent：浏览器名称。在爬虫过程中经常会使用到。在请求网页时，服务器通过这个参数获取这个请求是从哪种浏览器发送的。如果是通过爬虫发送请求，User-Agent的值就是Python，对于有反爬虫机制的网站就能判断出这个请求来自爬虫。因此需要经常设置User-Agent的值为一些浏览器的值来伪装我们的爬虫。
2. Referer：表明当前的这个请求来自于哪个url。这个一般也可以用于反爬虫技术：如果不是从指定界面过来的就不做相关的响应。
3. Cookie：http协议是无状态的。例如同一个人发送了两个请求，服务器没有办法判断这两个请求是否来自同一个人，因此用Cookie来作为标识。如果爬取需要登录后的网站，就需要发送Cookie信息

常见相应状态码：

1. 200：正常请求，服务器正常的返回数据。
2. 301：永久重定向。例如在访问www.jingdong.com的时候会重定向到www.jd.com。
3. 302：临时重定向。例如在访问一个需要登录的页面时，如果此时没有登录，那么就会重定向到登录界面。
4. 400：url错误。
5. 403：服务器拒绝访问，权限不够。
6. 500：服务器内部错误。