**#Python入门**
知识点:
0.Scrapy:一个为了爬取网站数据,提取结构性数据而编写的应用框架。可以用在数据挖掘,信息处理或者存储历史数据等有一系列程序中。最初是为了页面抓取(网络抓取)所设计的,也可以应用在获取API所返回的数据或者通用的网络爬虫。
1.使用scrapy抓取一个网站的而步骤:
- 创建一个Scrapy项目:
cmd打开命令窗口:scrapy startproject 项目名 - 定义Item容器:
Item是保存爬取到的数据的容器,其使用方法和python字典类似,并且提供了额外的保护机制来避免拼写错误导致的未定义字段错误。 - 编写爬虫
- 存储内容