scrapy入坑指南(二)

第一次运行 Scrapy程序报错的解决办法

报错信息:

*File “c:\python36\lib\site-packages\scrapy\downloadermiddlewares\retry.py”, line 20, in
from twisted.web.client import ResponseFailed
File “c:\python36\lib\site-packages\twisted\web\client.py”, line 41, in
from twisted.internet.endpoints import HostnameEndpoint, wrapClientTLS
File “c:\python36\lib\site-packages\twisted\internet\endpoints.py”, line 41, in
from twisted.internet.stdio import StandardIO, PipeAddress
File “c:\python36\lib\site-packages\twisted\internet\stdio.py”, line 30, in
from twisted.internet import _win32stdio
File “c:\python36\lib\site-packages\twisted\internet_win32stdio.py”, line 9, in
import win32api
ModuleNotFoundError: No module named ‘win32api’

这是因为Python没有自带访问windows系统API的库的，需要下载第三方库, 库的名称叫pywin32，可以从网上直接下载自己系统对应的版本.
下载链接：https://www.lfd.uci.edu/~gohlke/pythonlibs/#pywin32

然后cd 到刚刚下载文件的文件夹,执行:

pip install D:\file\pywin32-224-cp36-cp36m-win_amd64.whl
scrapy crawl xx

其中xx是你爬虫设置的唯一的name.