前几日闲来无事打算爬点视频网站上的资源来看看。由于之前没用过网络爬虫的框架,在网上找了一些相关的资料打算跟着学一下,过程中发现并没有想象的顺利。
首先,需要特别注意的一点,python的小版本(比如3.6.1和3.6.2)之间适配的框架版本也不一样(就是因为这个问题,导致我的scrapy安装老是出错。)下面捋一下我踩过的坑:
本人电脑win10x64的,但是安装的32位的python3.6.0。在安装scrapy(以centos为例,$ pip install scrapy)之前需要安装一些其他的框架组件(比如安装Tomcat前需要安装jak)。需要先找到对应版本的wheel和twiste下载下来,重点是twiste的版本(https://www.lfd.uci.edu/~gohlke/pythonlibs/)。先wheel,再twiste。
python3.6 安装scrapy报错的解决方法
最新推荐文章于 2023-03-15 19:47:29 发布