网络爬虫抓包的使用

本文为原创博客，仅供技术学习使用。未经允许，禁止将其复制下来上传到百度文库等平台。如有转载请注明本文博客的地址(链接)。

网络爬虫的第一步就是分析要爬取的数据的类型，这要通过抓包完成。在浏览器里的页面发生的数据通信，只需要打开Chrome的开发者工具，切换到network选项卡就够了。

---

举个例子，比如要爬取东方财富网的板块数据，链接为http://quote.eastmoney.com/center/BKList.html#trade_0_0?sortRule=0

1、打开Chrome的开发者工具。

---

2、在这个界面里，我们重点看Name下面的一列，显示的是这个网页发出的所有请求。你可以按F5刷新下整个页面，这一列会出现更多请求。

---

3、然后在Name下面的一列，开始一个一个找存储真实数据的Response，找到之后对应的Headers中会有真实的URL地址。