陈小峰（iefreer）的专栏

比如要获取所有class=test的div元素，1. 用Scrapy，示范代码： def parse(self, response): hxs = Selector(response) items = [] divs = hxs.xpath('//div[@class="test"]')2. 用lxml，示范代码：from lxml impo

1. 无法连接python https服务器打开防火墙iptables 443端口，确认openssl已安装2. No package 'libffi' foundyum install libffi libffi-dev3. pip install lxml error：xslt-config: not foundyum install libxslt-devel libxml2-devel p

http://stackoverflow.com/questions/18171835/scraping-a-json-response-with-scrapy

Spiders可以接收参数，以改变其抓取行为。通常的应用场景是定义请求链接(start_urls)来限定抓取目标网站的某个栏目，当然参数还可以用来控制整个Spider的功能。Spider参数通过 crawl 命令的 -a 选项来传递，比如：scrapy crawl myspider -a category=electronicsSpiders通过构造函数获取参数：class MySpider(Sp

抓取数据时，通常调试信息是：

Yield发送的请求，联系你的方法。

Scrapy的Spider支持处理HTML/XML/JSON数据，以XML为例：

有时候定向索引任务需要结合列表页面和内容详细页面才可以得到完整信息。

http://stackoverflow.com/questions/10801093/run-multiple-scrapy-spiders-at-once-using-scrapyd