超级会员免费看
本文介绍了Python网络爬虫框架Scrapy的使用，包括安装过程、工作原理和实战案例。在安装过程中，可能会遇到VC++ 14.0 Twisted和win32错误，可以通过下载whl文件和安装pywin32解决。Scrapy的工作流程涉及爬虫文件、调度器、引擎和下载器等组件。实战部分讲解了如何创建项目、生成爬虫文件、运行爬虫以及如何保存爬取的数据。解析网页时，XPath和extract()、extract_first()方法用于提取数据。
1 安装scrapy
安装命令：
pip install scrapy安装完成后，在控制台输入命令 scrapy bench；不报错则表示安装成功。
windows下安装时，可能出现以下错误：
错误1：VC++ 14.0 Twisted
解决方案：下载Twisted的whl文件，离线安装
下载网址： https://www.lfd.uci.edu/~gohlke/pythonlibs/
下载完成后，使用如下命令安装：pip install ****.whl
错误2：运行scrapy bench时，报win32错误
解决方案：安装win32包, pip install pywin32
2 Scrapy原理介绍
具体步骤如下：
- 爬虫文件发出请求，交给调度器；
- 调度器将接收到的请求发给调度器，调度器负责
订阅专栏 解锁全文
179
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
