Scrapy
文章平均质量分 84
Iam-xyZ
这个作者很懒,什么都没留下…
展开
-
scrapy提取wikipedia实践1
1.新建Project首先创建一个新的project,在cmd下执行以下命令scrapy startproject wiki得到一个新的project2.新建spider文件现在新建一个spider来抓取wikipedia英文主页上的内容。使用以下命令新建一个spider文件scrapy genspider main en.wikipedia.org然后在编译器里打开在原创 2016-06-03 19:36:24 · 1635 阅读 · 0 评论 -
:在scrapy的callback中使用lambda小结
用lambda定义函数 的用法其实很简单: lambda [参数部分] : [函数部分]1先举一个简单的例子func = lambda x,y : x+y如果定义了这个函数之后我们执行这行命令func(3,5)那么显而易见结果是8。如果我们在定义时给参数缺省值,比如func = lambda x=3,y=5: x+y那么调用func原创 2016-06-27 04:33:54 · 5292 阅读 · 0 评论 -
关于scrapy有用的链接
如何让不同的spider使用不同的pipeline:http://stackoverflow.com/questions/8372703/how-can-i-use-different-pipelines-for-different-spiders-in-a-single-scrapy-proje原创 2016-06-27 08:26:46 · 442 阅读 · 0 评论 -
初试scrapy编写twitter爬虫
第一步要做的当然是生成一个新projectscrapy startproject twitterProject我计划用这个爬虫做的第一件事就是抓取twitter上希拉里的推文以及她的关注。所以新建一个spiderscrapy genspider hillary https://twitter.com/HillaryClinton本文首先参考 https://github.com原创 2016-06-09 21:42:37 · 11014 阅读 · 0 评论 -
用Scrapy抓取Yahoo! WOEID
Yahoo! WOEID (Where On Earth Identifier) 是Yahoo的一套用于识别地球上不同地址的编号系统。许多网站,包括Twitter都用woeid来识别位置信息。本文主题就是利用scrapy从网上抓取给定国家的woeid我将要抓取的网站是http://woeid.rosselliot.co.nz/,我们可以在这个网页输入想要查找的地名,可以是国家名,城市名原创 2016-06-23 21:44:36 · 2464 阅读 · 1 评论 -
Scrapyd 学习记录
最近想找一个用来管理scrapy项目的界面或系统,于是发现了scrapyd,也许会有用。在scrapy项目的目录下,在命令行中运行scrapyd就能打开scrapyd。然后在浏览器中打开http://localhost:6800/ 就能进入scrapyd界面。之后在我安装的curl目录下(在学Elasticsearch时安装),用curl运行了几个 scrapy原创 2016-09-06 21:30:29 · 980 阅读 · 0 评论