使用IE控件来分析网页结构，模拟测试爬虫，使用scrapy+selenium来执行网页爬虫

通常我们使用scrapy来进行网页内容的收集，但使用起来非常的不方便：

1. 需要使用工具，或者手动来计算得到网页元素的xpath。

2. 对一些网页内需要ajax的运行才显示的内容处理起来并不方便。

我通过找相关的工具，研究爬虫方案，找到了一个比较合适的工具软件，和方便易用的处理流程：

工具软件的名字是掘金数据处理平台，界面如下：

scrapy辅助界面如下：

使用方法：

1. 在浏览器窗体，输入浏览url，打开目标网页

2. 使用右键点击网页中的元素（字符，图片等），就可以直接分析出元素的xpath，属性值等信息。

3. 在控制面板可以配置如何处理这些元素。

4. 可以对钮点击后，分析相应的日志执行流程。

5. 在scrapy面板下，打开一个目标python文件，右键点击网页元素可以将xpath直接插入到文本中。

6. 可以测试运行，并且数据会记录在内置的sqlite数据库中。

测试方法可以参考视频教程：

http://v.youku.com/v_show/id_XMTgyNzQxMzA2MA==.html?spm=a2h0j.11185381.listitem_page1.5~A

 

同时打开工具，和开发环境，两者一起配合编写成功scrapy+selenium数据收集脚本。

运行scrapy脚本，观察分析结果，再次调整，同时对比工具的测试运行结果。

使用以上的处理流程会非常方便的制做一个强大的数据收集脚本。

有任何使用方面的问题，请大家留言。