scrapy 搜索关键字_Scrapy抓取动态网页

动态网页指几种可能：

1)需要用户交互，如常见的登录操作；

2)网页通过JS/ AJAX动态生成，如一个html里有

aaa

；

3)点击输入关键字后进行查询，而浏览器url地址不变

本篇文章不借助任何外部工具，实例操作如何以观察网络通信的方法解析动态网页。

环境：Win10 , python2.7，scrapy 1.4.0，Chrome浏览器，Firefox浏览器

1、观察是否为动态网页

以华盛顿邮报为例，搜索关键词 French ，搜索到的结果如下：

F12打开控制台，在Element下找到想要获得的搜索列表数据所在的section标签”main-content”

然后转到Network的Doc标签，重新加载当前网页，在Name下点击第一个文件，在右边的Preview下寻找相应的section id 为 “main-content”的元素，发现没有数据：