scrapy
weixin_43550933
这个作者很懒,什么都没留下…
展开
-
scrapy数据爬取和数据处理
scrapy把爬取数据和处理数据分别放在以下两个位置(itcast为我们创建的爬虫名)数据爬取的代码如下(其中parse方法中的response是请求start_urls的返回):import scrapyclass ItcastSpider(scrapy.Spider): name = 'itcast' #爬虫名字 allowed_domains = ['itcast.cn'] #爬取范围 start_urls = ['http://www.itcast.cn/chan原创 2020-07-16 17:09:38 · 852 阅读 · 0 评论 -
scrapy中设置不遵守robots协议
今天刚开始学习scrapy,运行第一个项目时便报了错,如下所示原来是遵守了网站的robots协议,所以我们在settings.py文件中修改配置即可原创 2020-07-12 19:05:27 · 1426 阅读 · 0 评论