python 找到目录下文件名规则_windows下爬虫框架的安装pyspiderl

命令行直接输入：
pip install pyspider 
不出意外的话肯定会报错，怎么解决呢？
一，下载pycurl 库

下载地址：

https://www.lfd.uci.edu/~gohlke/pythonlibs/#pycurl 

这里注意 选择与自己下载python版本相对应的

 下载好之后将下载的文件放在python 目录下像我一样

 然后在回到cmd 
   先  cd D:\python3 下 然后执行下边命令
   pip install pycurl-7.43.0.3-cp38-cp38-win_amd64.whl  

 (这里 .whl文件名 是你下载的那个.whl文件名) 

 切勿直接复制

 
二，安装pyspider 

直接cmd 下

pip install pyspider

 三，此时在运行pyspider 还是会报错

打开python安装目录，找到下边这四个文件(这里给大家截图看不懂文字的直接看图，标注的很清楚)。

 

1)Libsite-packagespyspiderrun.py

 

2)Libsite-packagespyspiderwebuiapp.py

 

3)Libsite-packagespyspiderfetchertornado_fetcher.py

 

重点来了，将这三个文件里边的async 全部修改为 async123(新手的话装一个小红本打开就好)
4)Libsite-packagespyspiderwebuiwebdav.py

 

将这个文件里边的
209行的  'domaincontroller': NeedAuthController(app),
修改为
'http_authenticator': {
        'HTTPAuthenticator': NeedAuthController(app),
},
四，运行pyspider测试是否成功安装

最后 在来运行 pyspider

 

此时打开浏览器试试 127.0.0.1:5000 

 完美解决！

推荐文章++++

*中国网络爬虫违法违规案例收集与总结

*只因写了一段爬虫，公司200多人被抓！

*Proxy_Pool：简易爬虫代理IP池