为什么要用Scrapy ???有selenium还不够吗? 不够!
我们知道无论是静态网页的爬取还是动态网页的爬取。大致思路都是 获取网页的html代码、解析、保存输出。在我们编写这些代码的时候虽然都是已经封装成函数了。但是难免有一些些懒惰的同学不想写(绝对不是我 👀)。所以我们使用scrapy就可以很好的解决这些问题了。让我们陶醉于解析的过程当中。减少我们的工作量,缓解我们的焦虑,拯救我们的头发哈哈哈哈。
scrapy的基本使用方法
一、创建爬虫项目
在终端输入scrapy startproject <项目名>
输入后 终端会给你提示之后的步骤。
二、创建爬虫文件
爬虫项目:爬虫文件 = 1 :n
- 用
cd <项目名>
进入项目,此目录是创建爬虫项目时通