爬取通过ajax动态加载的页面（实时监控华尔街见闻资讯与快讯）

学习了几天如何使用scrapy去爬取静态网站，今天尝试去爬取动态加载的网站。选取的网站是华尔街见闻，文中不会像往常一样大篇幅讲解每一步该如何做，而是探讨如何爬取。

在源代码中无法获得全部数据（有的根本没数据），但是通过下拉滑条可以看到网址不变但有数据加载出来，毫无疑问这就是动态加载的网页。以下讲解如何去寻找api接口取获取数据。

打开开发者工具，选择Network，刷新，选择XHR，如图。