scrapy
胖大海瘦西湖
乐观,积极进取
展开
-
安装Scrapy
安装python 四步: 1.python2.7 2.lxml-------http://blog.csdn.net/zhaokuo719/article/details/8209496 3.openssl--------http://blog.chinaunix.net/uid-20479991-id-216269.html (如果这个出现'ml.exe'问题,那么最简单的方法是去下载低原创 2015-04-14 10:03:51 · 587 阅读 · 0 评论 -
python scrapy 向parse传递参数、标识
在做爬foursquare的爬虫时,需要在parse函数里以userid为文件名进行保存,有一种最简单的方法,那就是在构造初始链接时,将id=[userid]作为参数加入到链接中, start_urls =[ 'http://foursquare.com/user/%d?id=%d' %(n,n) for n in range(99660,99665) ] 这个参数会被foursqua原创 2016-09-21 22:40:32 · 8617 阅读 · 2 评论