爬虫基础Web请求过程、HTTP协议

目录

1. Web请求过程

1.1 需要熟练使用抓包工具

2.什么是协议

3.HTTP协议

3.1 请求

3.2 响应

3.2.1 请求头中一些重要的内容（爬虫需要）

3.2.2 响应头中一些重要的内容

---

1. Web请求过程

1.服务器渲染：在服务器那边直接把数据和html整合在一起，统一返回给浏览器

特点：在页面源代码中能看到数据  

2.客户端渲染： 第一次请求只要一个html骨架，第二次请求拿到数据,进行数据展示

特点：在页面源代码中，看不到数据

1.1 需要熟练使用抓包工具

示例：谷歌浏览器、微软edge

随便找一个网页进去

 F12 或者 右键点击检查

打开Network    也就是网络工作状态 

2.什么是协议

协议就是两个计算机之间为了能够流畅的进行沟通而设置的一个君子协定，常见的协议有TCP/IP.SOAP协议，HTTP协议，SMTP协议等等....

3.HTTP协议

HTTP协议，Hyper Text Transfer Protocol(超文本传输协议)的缩写，是用于从万维网(WWW.World Wide Web) 服务器传输到超文本到本地浏览器的传送协议，

简单来说：就是浏览器和服务器之间的数据交互遵守的就是HTTP协议

HTTP协议把一条消息分为三大块内容，无论是请求还是响应，都是三块内容

3.1 请求

1.请求行：请求方式(get/post)请求url地址 协议

GET：显示提交

POST：隐示提交

2.请求头：放一些服务器要使用的附加信息

3.请求体：一般放一些请求的参数

3.2 响应

1.状态行：协议 状态码

2.响应头：放一些客户端要使用的一些附加信息

3.响应体：服务器返回的真正客服端要用的内容（HTML,JSON)等

3.2.1 请求头中一些重要的内容（爬虫需要）

1.User-Agent：请求载体的身份标识(用什么发送的要求)

2.Referer：防盗链（这次请求是从哪个页面来的？反爬会用到）

3.cookie：本地字符串数据信息（用户登录信息，反爬的token）

3.2.2 响应头中一些重要的内容

1.cookie：本地字符串数据信息（用户登录信息，反爬的token）

2.各种莫名的字符串（根据经验，一般都是token字样，防止各种攻击和反爬）