一.如何创建Scrapy爬虫项目
(1) Win+R 打开cmd,假如我要在F盘的Scrapy文件中创建项目,进入相应的地方,如下。(cd,是进入下一级,cd…是返回上一级,cd\是返回盘符)
(2)使用指令scrapy startproject dangdang
创建名为dangdang的项目。
dangdang这个项目下包括了同项目名dangdang的核心目录和项目的配置文件scrapy.cfg,如下。
(3) 点击核心目录,又发现了有很多文件,如下。
spiders文件夹放置我们的爬虫,可以使用scrapy genspider -t basic 文件名 域名
创建爬虫文件,其中basic可以换,因为它是一个模版,还可换成:
Available templates: #模板说明
basic 创建基础爬虫文件
crawl 创建自动爬虫文件
csvfeed 创建爬取c