本文详细介绍了如何使用Scrapy框架构建一个爬虫项目。首先，通过命令行创建项目和Spider，然后在stocks.py中编写爬虫程序，定制爬取和解析规则。接下来，配置pipelines.py以处理股票数据，并将其存储到文件中。最后，更新settings.py以启用自定义的pipeline。整个过程涵盖了从爬取网页到数据存储的完整流程。
原理分析
Scrapy框架如下图所示：
我们主要进行两步操作：
（1） 首先需要在框架中编写一个爬虫程序spider,用于链接爬取和页面解析；
（2） 编写pipelines，用于处理解析后的股票数据并将这些数据存储到文件中。
代码编写
步骤：
（1） 建立一个工程生成Spider模板
打开cmd命令行，定位到项目所放的路径，输入：scrapy startproject BaiduStocks，此时会在目录中新建一个名字为BaiduStocks的工程。再输入：cd BaiduStocks进入目录，接着输入：scrapy genspider stocks baidu.com生成一个爬虫。之后我们可以在spiders/目录下看到一个stocks.py文件，如下图所示：
（2） 编写Spider：配置stocks.py文件，修改返回页面的处理，修改对新增URL爬取请求的处理
打开stocks.py文件，代码如下所示：
将上述代码修改如下：
（3） 配置pipelines.py文件,定义爬取项（Scraped Item）的处理类
打开pipelinse.py文件，如下图所示：
对上述代码修改如下：
（4） 修改settings.py，是框架找到我们在pipelinse.py中写的类
在settings.py中加入：
到这里，程序就完成了。
（4） 执行程序
在命令行中输入：scrapy crawl stocks
扫一扫
2971
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
