Selenimu做爬虫

http://www.cnblogs.com/oscarxie/archive/2009/12/25/1631981.html

http://www.cnblogs.com/oscarxie/archive/2010/04/02/1702464.html

前面有介绍过Selenium作为开源的自动化测试框架，其实Selenium还可以作为爬虫工具。

举个例子，我想爬取中国概念股的一些信息，例如这样的：http://app.finance.ifeng.com/list/usstock_cn.php

先建个SeleniumUtil.py的文件

代码

前面曾写过一篇Selenimu做爬虫的文章，大概只说了些如何爬取信息，这篇文章主要接着来说下比较具体的用途。

假设你是某个财经网站的质量人员，上头很想知道自己网站的数据是否正确，（这里插一句，做财经的应该知道，例如国内股票的原始数据都是从上证或深证来的，之后有很多的数据提供商从2大交易所购买数据，这个不是一般公司可以做到的，看看level-2和超赢等卖得那么红火就知道了，国外的blomberg也类似。），那么就需要提供一个dashboard来展示自己的数据和其他同行（多数是竞争对手啦）的数据，这样直观且方便跟踪，同时对其他人也有说服力。

我了解下来，很多都是通过人工采样的方式来对比，比如建个excel表把自己和其他网站数据填充，这个做法费时又费力，其实selenium可以帮助我们提高效率。

大致的思路如下：

1. 获取交易所信息及股票代码

在Selenimu做爬虫已经介绍过，找某个网站股票综合页面，例如新浪就能获取到某交易所的股票代码，并抓取下来，当然，如果自己后台数据库有这个数据，那就更好了。

 

2. 创建一个CrawlSettings.py文件，用来存取比较网站的信息，如网站名称、URL、财经指标的xpath,示例如下，

 

代码