python爬虫scrapy框架的俩个坑(windows且pycharm是社区版的)

首先安装scrapy:pip install scrapy

scrapy依赖 twisted库(高性能异步网络访问响应式库),twisted库底层使用c实现，要安装#windows必须有vs20xx开发环境,linux必须有gcc、g++.如果没有，可以下载编译好的库#(https://www.lfd.uci.edu/~gohlke/pythonlibs

百度网盘twist链接：https://pan.baidu.com/s/1fANZZopScCn6-_-7f-fGIA
提取码：d026
我是复制粘贴到Scripts下边的，也能用。。。C:\Users\TR\AppData\Local\Programs\Python\Python36\Scripts
然后在Pycharm终端 pip install C:\Users\TR\AppData\Local\Programs\Python\Python36\Scripts\Twisted-18.9.0-cp36-cp36m-win_amd64.whl(有的人的命令是pip3 install)就可以了

安装成功以后，命令行执行:

1.scrapy startproject 项目名(可以任意) #创建项目
2.cd $项目名
3.scrapy genspider 爬虫名(例如:labscrapy) 要爬的网址(例如:lab.scrapyd.cn)
4.scrapy crawl $爬虫名 #执行爬虫(如果提示win32api找不到，执行:pip install pypiwin32)