爬虫2-web请求与http协议

1web请求

1服务器渲染 在服务器那边直接把数据和html整合在一起，统一返回给浏览器
             在页面源代码中可以看到数据
2客户端渲染 第一次请求只拿到html骨架，
             第二次请求拿到数据，进行数据分析
             在页面源代码中看不到数据

 熟练使用浏览器抓包工具：检查（F12）-network-header，preview

2http协议

协议:数据间传输的规则
HTTP协议:超文本传输协议，用于从www 服务器传输超文本到本地浏览器的传送协议。
浏览器和服务器之间的数据交互遵守的就是HTTP协议

请求
# 请求行->请求方式（get post） 请求url地址 协议
# 请求头->放一些服务器使用的附加信息
# 请求体->一般放请求参数

响应
# 状态行->协议 状态码
# 响应头->放一些客户端要使用的附加信息
# 响应体->服务器返回的真正客户端要用的内容（Html json）

# 请求头中最常见的一些重要内容（爬虫内容）：
# 1.User-Agent:请求载体的身份标识（用啥发送的请求）
# 2.Referer:防盗链（这次请求是从哪个页面来的 反爬会用到）
# 3.cookie：本地字符串数据信息（用户登录信息 反爬的token）

# 响应头中的一些重要的内容：
# 1.cookie：本地字符串数据信息（用户登录信息，反爬的token）
# 2.各种神奇的莫名其妙的字符串


# 请求方式：
# get：显式提交
# post：隐式提交