爬虫的框架：Scarpy

1、新建Scrapy项目：

进入项目目录，按住shift，选择windows powershell，在弹出的窗口输入：scarpy startproject 项目名

2、新建爬虫案例：

在新建的项目根目录中，按住shift，选择windows powershell，在弹出的窗口输入：scrapy genspider  爬虫名称 爬取页面的主机地址（scrapy genspider example example.com）

或者直接在第一步的窗口中：

cd youdaoSpider
scrapy genspider example example.com

3、执行命令：scarpy crawl 爬虫名称

转载于:https://www.cnblogs.com/yanzhuping/p/11520657.html