![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
scrapy开源框架
疯颠颠_
优秀是一种态度。
展开
-
安装scrapy的方法详解
转载自:http://www.cnblogs.com/CLTANG/archive/2011/07/05/2098531.htmlscrapy在国内目前使用的人比较少,除了他比较新以外,还在于他本身还有很多弊端,比如:需要的支持包比较多,这些支持包相互之间的依赖关系,导致人们在安装他的时候各种吐血,而且吐血了还不一定又正确的结果!所以,今天趁自己需要换工作环境,记录点滴。 本次安转载 2014-03-12 11:23:20 · 1098 阅读 · 0 评论 -
开源python网络爬虫框架Scrapy(转)
转载自:http://www.cnblogs.com/derekDoMo/archive/2012/12/23/2829811.html所谓网络爬虫,就是一个在网上到处或定向抓取数据的程序,当然,这种说法不够专业,更专业的描述就是,抓取特定网站网页的HTML数据。不过由于一个网站的网页很多,而我们又不可能事先知道所有网页的URL地址,所以,如何保证我们抓取到了网站的所有HTML页面就是一个转载 2014-03-12 11:25:07 · 572 阅读 · 0 评论 -
Scrapy使用——抓取赶集网北京公交信息
转载自:http://wwwdigger.com/?p=111关于Scrapy工作过程会在之后添加。0.相关信息a)首先要已经完成Scrapy的配置安装(如果没有安装,可以参考Scrapy安装过程);b)了解XPath的基本用法(可以参考XPath教程);c)Chrome的审查元素功能也很好用,但是FF的Firebug个人感觉用着更舒服,推荐转载 2014-03-13 09:19:51 · 2120 阅读 · 1 评论