项目环境Python3.8,scrapy 2.0.1
1、创建一个项目
打开命令提示提示符cmd,定位到需要创建爬虫项目的目录,在cmd中输入创建项目命令scrapy startproject ***
scrapy startproject SpiderDemo
出现下面的提示即说明项目创建成功了:
2、创建一个普通爬虫
按照cmd创建成功的提示,定位到创建成功的目录下,输入创建爬虫命令scrapy genspider xxx “xxx”
scrapy genspider demo_spider "qiushibaike.com"
scrapy genspider有两个参数,第一个是爬虫的名字,名字会在运行爬虫的时候用到;第二个是可以爬取的网站域名。
注意:一定要先定位到创建的项目目录下,在运行创建爬虫命令,不然爬虫文件不能正确创建到项目中。
创建成功之后出现如下提示:
这时打开工程目录,就可以在spiders文件下看