scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘,信息处理或存储历史数据等一系列的程序中。
框架的力量,用户只需要定制开发几个模块就可以轻松的实现一个爬虫,用来抓取网页内容以及各种图片,非常之方便。
在命令中输入scrapy
在python下创建一个文件包,然后在命令中输入cd,把创好的文件夹路径拉入命令里。
创建一个项目
在命令中输入scrapy startproject person
在命令中输入两边cd person
生成一个爬虫文件
在命令中输入scrapy genspider deity www.baidu.com