1网络请求--抓包

常用的请求方法：
在http协议中定义了八种请求方法。这里介绍两种常用的请求方法，分别是get请求和post请求。
1.get请求：一般情况下，只有从服务器获取数据，并不对服务器资源产生任何影响的时候会使用post请求。
2.post请求：向服务器发送数据（登录）、上传文件等，会对服务器资源产生影响的时候会使用post请求。
以上是网站开发中常用的两种方法。并且一般情况下都会遵循使用的原则。但是有的网站和服务器为了做反爬虫机制，经常会不按照常理出牌，有可能一个应该使用get方法的请求就一定要改成post请求，这个要视情况而定。

请求头常见参数：
在http协议中，向服务器发送一个请求，数据分为三部分，第一个是把数据放在url中，第二个是把数据放在body中（在post请求中），第三个就是把数据放在head中。以下为网络爬虫中经常会用到的一些请求头参数：
1.User-Agent：浏览器名称。这个在网络爬虫中经常会被使用到。请求一个网页的时候，服务器通过这个参数就可以知道这个请求是由哪种浏览器发送的。如果我们是通过爬虫发送请求，那么我们的User-Agent就是python，这对于有反爬虫机制的网站来说，可以轻而易举的判断你这个请求是爬虫。因此，我们经常需要设置这个值是浏览器的值，来伪装我们的爬虫。
2.Referer：表明当前这个请求是哪个url过来的。这个一般也可以用来做反爬虫技术。如果不是从指定页面过来的，那么就不做相关的相应。
3.Cookie：http协议是无状态的，也就是同一个人发送了两次请求，服务器没有能力区分这两个请求是否来自同一个人。因此，这是就需要用到cookie来做标识。一般如果想要做登录后才能访问的网站，就需要发送cookie信息了。

常见状态码：（百度搜索状态码）
1.200表示请求正常，服务器返回正常的返回数据。（也可能反爬虫网站返回是一个假的数据）
2.301表示永久重定向。比如访问www.jingdong.com的时候会重定向到www.jd.com
3.302表示临时重定向。比如在访问一个需要登录的界面时，此时没有登录，那么就会重定向到登录界面。
4.400表示请求的url在服务器中找不到。换句话说就是url找不到。
5.403表示服务器拒绝访问，权限不够。
6.500表示服务器内部错误。可能是服务器出现了bug。

Chrome抓包工具
chrome浏览器是一个非常亲近开发者的浏览器。可以方便查看网络请求及发送的数据。右键点击检查,，可以对网页进行调试分析。其中，elements存放着网页的源代码，展示网页结构。 Console（控制台）js代码输出的地方，用到的不是很多。 Source代表网页是由哪些文件组成的，相当于这个网页的展示需要哪些文件。network表示浏览器请求当前网页的请求（注意有个Preserve log选项，选上这个选项表示重新加载网页时不要清除网络请求的日志）。