streamind_xd的专栏

Scrapy本身不能作为JS的解析器，因而若网页中带有AJAX，带有JS脚本时就无能为力了，看了网上几篇相关文章都介绍说，使用Webkit作为Downloader，于是便想研究一下。 相关文章：http://www.gnu.org/software/pythonwebkit/ 相关文章：scrapy结合webkit抓取js生成页面（http://blog.mdcsoft.cn/archives

前文叙述的是采用Webkit作为scrapy的Downloader。在构建XPath时，我们可以通过Firebug来监视网页元素。 参考这篇文章：http://doc.scrapy.org/en/latest/topics/firefox.html#topics-firefox-addons Using Firefox for scraping Since Firefox add-o

Scrapy算是装好了，怎么用呢？ 1、Scrapy使用——抓取赶集网北京公交信息（http://wwwdigger.com/?p=111） 2、Scrapy 轻松定制网络爬虫（http://blog.pluskid.org/?p=366） 3、Scrapy入门教程 http://www.cnblogs.com/txw1958/archive/2012/07/16/scrapy-tutori

Scrapy是一个用python实现的爬虫框架，爬虫有很多，比如著名的Heritrix、Nutch。应该是各有优缺点，但因我是一个初学者，从网上找了一些资料，发现Scrapy可以与Webkit集成，去爬一些JS下的内容（可参考：定向抓取漫谈），于是有了进一步学习的想法。          先安装来试一试：          1 、Scrapy网站http://scrapy.org/