1.认识Scrapy
简而言之,Scrapy就是一个爬虫模板、一个框架。具有功能强大、速度快(自带异步),代码复杂的特点。因此,可以直接套用。
1.1 scrapy 的构成
1.2 Scrapy的安装
pip install Scrapy== 1.8.0
当然在Pycharm环境下,可以通过导包实现,顺序为:Twisted + lxml +Scrapy .
注:
在装包的时候,可能会要求电脑中提前装好Visual C++ ~~
2.Scrapy的使用
2.1 创建Scrapy项目
打开命令行在命令行内打开想要创建项目的文件夹,使用scrapy startproject name 创建项目。
-
在Pycharm中打开 View --> Tool Windows --> Terminal
在Terminal 中输入 Scrapy 查看其是否安装成功 (若成功会显示scrapy信息)