scrapy是什么
scrapy是非常强悍的爬虫框架,底层是用python来写的。
因为这个框架,爬虫的首选就是python语言,在里面都封装的有多进程,多线程和队列
你要做的工作,就是使用他们给的接口即可
在第一次使用pip install scrapy时会报错,缺少一个twisted组件
这是一个C语言写的包,解决方案,在
下载twisted对应版本的whl文件(如我的Twisted-19.2.0-cp37-cp37m-win_amd64.whl),cp后面是python版本,amd64代表64位,运行命令:
pip install D:\搜狗高速下载\Twisted-19.2.0-cp37-cp37m-win_amd64.whl