树新风的博客

使用scrapy_redis实现京东图书分布式爬虫 settings.py # -*- coding: utf-8 -*- # Scrapy settings for jdbook project # # For simplicity, this file contains only settings considered important or # commonly used. You ca...

scrapy startproject 项目名 创建一个scrapy项目 cd ./项目名 scrapy genspider 爬虫名 域名 创建一个爬虫 scrapy genspider -t crawl 爬虫名 域名 创建一个crawlspider爬虫 创建好项目以及爬虫后，首先编辑items.py文件设置好要爬取的字段，然后根据需求修改setting.py文件中的配置，然后在编辑爬虫名...