框架爬虫
liu45464546
这个作者很懒,什么都没留下…
展开
-
一个简单的scrapy
第一步创建project,已天涯网为例,抓取天涯网中的邮箱。终端上输入命令,1,scrapy startproject tianya,2,cd tianya,3,scrapy genspider mytianya bbs.tianya.com然后在mytainya.py文件中代码如下:import scrapyimport refrom tianya import itemsclass Mytia...原创 2018-06-25 18:38:50 · 282 阅读 · 0 评论 -
scrapy分页实现
需要导入的包:from scrapy.spiders import CrawlSpider, Rule # 提取规则 from scrapy.linkextractors import LinkExtractor # 提取连接需要重新定义一个类继承自CrawlSpiderclass MysinaSpider(CrawlSpider): name...原创 2018-06-25 20:49:16 · 1499 阅读 · 0 评论