本文介绍了如何在Python环境下安装Scrapy爬虫框架，包括通过镜像加速安装和解决可能出现的依赖问题，如Microsoft Visual C++ Build Tools。然后讲解了如何使用Scrapy创建项目和Spider，包括`startproject`和`genspider`命令，并展示了生成的Spider模板代码。最后，提到了启动和调试Scrapy爬虫的方法，包括安装pypiwin32来解决Windows下的运行错误，并提供了设置断点进行调试的提示。
- 安装scrapy爬虫框架
可以使用镜像安装，安装速度比较快
pip install -i https://pypi.douban.com/simple/ scrapy
一般的安装方法
pip install scrapy
在安装过程中会遇到很多问题
error: Microsoft Visual C++ 14.0 is required. Get it with “Microsoft Visual C++ Build Tools”: http://landinghub.visualstudio.com/visual-cpp-build-tools
遇到上述错误，去安装 Microsoft Visual C++ Build Tools 即可，点击下载
（下载链接：https://go.microsoft.com/fwlink/?LinkId=691126）
有时也会因为 Twisted 安装失败出现此问题，如果有则下载安装，
https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
cp37表示python3.7版本，amd64表示windows系统是64位的，不过一般安装上边的32位的就可以了
进入下载目录，安装.whl文件
pip install xxx.whl
安装成功后再执行
pip install -i
最低0.47元/天 解锁文章
2263
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
