【Python从零到壹】学习Python爬虫前，你需要先掌握这些内容(1)

• 请求方式

• 请求头

post请求： 向服务器发送数据（登陆），上传文件等，会对服务器资源产生影响的时候，会使用post请求。

不过有些网站做了反爬虫机制，你去查看信息，也是使用post请求，所以我们写爬虫的时候，一定要分析网站。

常见的请求头参数：

http协议中，向服务器发送一个请求，数据分为三部分：

• 把数据放在url中

• 数据放在body中，（post请求）

• 数据放在head中

常见的请求头参数：

• user-agent :浏览器名称

• referer: 当前这个请求从哪个url过来的

• cookie:http 协议是无状态的，也就是一个人发送了两次请求，服务器没有能力知道这两个请求是否来自同一个人。

常见的相应状态码

• 200 请求正常，服务器正常返回数据

• 301 永久重定向

• 404 请求的url在服务器上找不到

• 418 发送请求遇到服务器端的反爬虫，服务器拒绝相应数据

• 500 服务器内部错误，可能是服务器出现了bug

HTTP的请求相应过程

使用浏览器进行网站分析

我们要分析的网站为： movie.douban.com

• Elements： 用于分析网站的结构

  在页面上的呈现的内容，在Elements都会有相应的元素。

• Console: 这里会打印招聘信息，警告等等。

• Sources

• Network ： 在显示页面的时候，产生的所有请求

  headers 头部信息

session 与cookie

session代表的是服务器和浏览器的一次会话过程

session 是一种服务器端的机制，用来存储特定用户的会话所需要的信息，保存在内存，缓存，或者数据库中。

cookie

cooke是由服务器端生成后发送给客户端，cookie是保存在客户端的

cookie原理：

1） 创建cookie

2. 设置存储cookie

3. 发送cookie

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里无偿获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！