scrapy用不同规则抓取多个网站（基于csv文件）以及向爬虫传递参数（参数可默认）

大多数情况下每个网站对应一个爬虫，但是也有很多时候需要一个爬虫抓取多个网站，而它们之间的唯一区别只是XPath表达式不同。在这种情况下，对应每个网站编写一个爬虫有些大材小用，只需一个爬虫即可解决。

首先创建一个.csv文件 ，按照下图填写一些url和XPath表达式，保存为todo.csv并放到工程的目录（也就是scrapy.cfg文件所在的目录）。

Python有一个内建的库专门处理.csv文件，需引入import csv。用下面的代码：

$ pwd
/root/book/ch05/generic2
$ python
>>> import csv
>>> with open("todo.csv", "rU") as f:
        reader = csv.DictReader(f)
        for line in reader: