使用scrapy框架爬取数据

一、环境准备

首先我采用anacoda环境，需要首先建造一个项目，并激活

建立一个爬虫项目：

conda create -n Spider python == 3.6.2

conda create -n Spider python == 3.6.2

然后激活环境

activate Spider

再此环境下需要下载scrapy模块和pywin32模块

pip install scrapy

pip install pywin32

具体Scrapy 安装流程参考：http://doc.scrapy.org/en/latest/intro/install.html#intro-install-platform-notes 里面有各个平台的安装方法

二、报错处理：

1、使 用 Scrapy 时 遇 到 0: UserWarning: You do not have a working installation of theservice_identity module: 'cannot import name 'opentype''. Please install it from ..的问 题解决http://www.bubuko.com/infodetail-2467560.html

2、报 etree的错误

原因：默认安装的 lxml 版本太高（默认安装最新版），卸载后，重新安装 3.8 以下版本
conda uninstall lxml
conda install lxml==3.8

3、解决 Scrapy 安装错误:Microsoft Visual C++ 14.0 is required... 问题描述：
当前环境 win7，python_3.6.1，64 位。
在 windows 下，在 dos 中运行 pip install Scrapy 报错：
error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": http://landinghub.visualstudio.com/visual-cpp-build-tools

解决方法;

http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted 下载 twisted 对应版本的 whl 文件（如我的 Twisted-18.4.0-cp36-cp36m-win_amd64.whl），cp 后面是 python 版本，amd64 代表 64 位，运行命令：
pip install C:\