本文详细介绍了如何搭建scrapy框架环境，包括Twisted模块的安装，scrapy和pywin32框架的安装。接着讲解了scrapy项目创建的步骤，从创建文件夹到生成爬虫，并修改settings.py配置以优化爬虫行为。最后，概述了scrapy框架中items.py、middlewares.py、pipelines.py和settings.py等关键文件的作用。
scrapy框架学习
1、scrapy框架环境搭建
- 第一步：安装Twisted模块
（1）打开（https://www.lfd.uci.edu/~gohlke/pythonlibs/），按下快捷键<Ctrl+F>搜 索"twisted"模块下载对应版本
（2）python3.9就下载“Twisted-20.3.0-cp39-cp39-win_amd64.whl”
（3）以管理身份运行命令提示符窗口，cd进入“Twisted-20.3.0-cp39-cp39-win_amd64.whl”文件所在位置，然后输入“pip install Twisted-20.3.0-cp39-cp39-win_amd64.whl” - 第二步cmd窗口：安装scrapy框架:pip install Scrapy -i https://pypi.douban.com/simple/
- 第三步cmd窗口：安装pywin32：pip install pywin32 -i https://pypi.douban.com/simple/
2、scrapy框架创建项目
- 第一步：创建一个文件命名为Scrapy
- 第二步：创建s
订阅专栏 解锁全文
扫一扫
3万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
