爬虫向：header的作用与意义以及怎么找

     实践部分：

目录

header的寻找方法

---

    首先

     明确一个概念

     header在爬虫中意味着什么？

     在解释清这个问题之前，其实还有一个问题需要解释

     使用爬虫翻动网页获取信息，同真人亲自翻动网页获取信息究竟有什么不同：

     首先，我们正常访问一个网页的流程：

鼠标双击触发网址————载入网页————人眼浏览网页信息

      这是一个完整的浏览过程。

      但是当我们试图通过爬虫获得想要获取网页信息时，流程就会变为： 

找到网址——request请求并获取网页信息——清洗整理信息——储存至指定位置以备人眼浏览

       所以在当我们需要集合整理多网页的不同信息时，我本人更倾向于...写个爬虫让他自己吭哧吭哧爬，爬完了我随便一浏览就行。

      但是...有些网址不想让你这么省事...随便爬爬就能让你获取信息会给运行网页的服务器造成很大压力...所以爬虫这事，虽然不违法，但通常来说，并不受欢迎...网站通常会设置一些“关卡”来阻碍你的爬虫。

      所以为了方便获得网站信息，我们写爬虫的时候要尽量把自己的爬虫伪装的像一个正在浏览信息的人，来绕过这些“关卡”。

说回第一个问题“ header在爬虫中意味着什么？”

       我们访问一个网页的时候，点击进去就是一个完整的浏览过程。当我们想要获取网页数据的时候，就要跟这种浏览过程一样，不然网页会把我们阻拦在外面。header就是帮助我们完成这样浏览过程的一个工具。给爬虫加一个header请求头，是常规的反爬的方法之一，相当于我们进去这个网页的服务器本身，假装自己本身在浏览网站信息。目前80%的网站都需要构建请求头来爬取。

header的寻找方法

首先，打开目标网页然后按“F12”（无论用什么浏览器都可以通过按F12解决）

然后按图示操作就行了