1、首先需要安装Scrapy
但是由于在Windows上Scrapy安装出现了各种问题,要求需要最新版的VS。出于偷懒的心理,推荐下载Anaconda,使用Anaconda来管理Python不仅省力,而且方便。
下载Scrapy只需要
conda install scrapy
关于Anaconda下载,如果在官网下载太过慢的话,可以选择在清华的镜像网站进行下载。
2、Scrapy 创建工程
在Anaconda的命令行中输入
scrapy startproject Tutorial(项目名)
即可以在当前目录下创建Scrapy工程。此时空工程的目录如下:
具体需要用的每一个文件,将在下面进行阐述。
可以通过 genspider命令来创建一个通用的爬虫