爬虫的步骤

1、确定网站内数据的加载方式(数据局部刷新、页面刷新)
区别：局部刷新 页面的url不会发生改变 页面刷新 页面的url会发生改变
（1）、局部刷新：
1、F12 --> NetWork --> XHR
2、清空所有请求
3、点击加载更多或者下一页
4、新出来的地址就是我们需要发送的请求地址
（ 2）、页面刷新
1、直接点击下一页
2、观察页面url的变化
3、去掉没用的信息
4、拼接url
2、构造请求头
1、添加UA字段
2、如果数据不能正常返回 添加refere字段
3、如果数据还不能正常返回 添加cookie字段
3、如果是POST方式 那么需要 构造参数 观察参数的传递格式(字典/json串) 然后进行编码
4、构造请求(url headers data)
5、发起请求
6、读取数据(注意编解码) 如果是json字符串 需要将json字符串转换为字典
7、处理数据