一、环境准备
首先我采用anacoda环境,需要首先建造一个项目,并激活
建立一个爬虫项目:
conda create -n Spider python == 3.6.2
conda create -n Spider python == 3.6.2
然后激活环境
activate Spider
再此环境下需要下载scrapy模块和pywin32模块
pip install scrapy
pip install pywin32
具体Scrapy 安装流程参考:http://doc.scrapy.org/en/latest/intro/install.html#intro-install-platform-notes 里面有各个平台的安装方法
二、报错处理:
1、使 用 Scrapy 时 遇 到 0: UserWarning: You do not have a working installation of theservice_identity module: 'cannot import name 'opentype''. Please install it from ..的问 题解决http://www.bubuko.com/infodetail-2467560.html
2、报 etree的错误
原因:默认安装的 lxml 版本太高(默认安装最新版),卸载后,重新安装 3.8 以下版本
conda uninstall lxml
conda install lxml==3.8
3、解决 Scrapy 安装错误:Microsoft Visual C++ 14.0 is required... 问题描述:
当前环境 win7,python_3.6.1,64 位。
在 windows 下,在 dos 中运行 pip install Scrapy 报错:
error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": http://landinghub.visualstudio.com/visual-cpp-build-tools
解决方法;
http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted 下载 twisted 对应版本的 whl 文件(如我的 Twisted-18.4.0-cp36-cp36m-win_amd64.whl),cp 后面是 python 版本,amd64 代表 64 位,运行命令:
pip install C:\