Scrapy爬虫框架安装及使用

环境python3，pycharm

一、pip安装scrapy

1.安装遇到问题

pip install scrapy

安装失败，提示错误如下：

error: command ‘C:\Program Files (x86)\Microsoft Visual Studio 14.0\VC\BIN\x86_amd64\cl.exe’ failed with exit status

实际不是Microsoft Visual Studio问题，下载各种版本安装都无法解决（安装pymssql也是这种提示）。

解决办法：

安装Twisted解决，我安装的是Twisted-18.7.0-cp36-cp36m-win32.whl

下载Twisted-18.7.0-cp36-cp36m-win32.whl

拷贝到python的Scripts目录，我的是C:\Users\Administrator\AppData\Local\Programs\Python\Python36-32\Scripts

下载地址https://www.lfd.uci.edu/~gohlke/pythonlibs/

pip install Twisted-18.7.0-cp36-cp36m-win32.whl

2.再安装scrapy

pip install scrapy

安装成功

 

二、Scrapy的使用

1.创建scrapy项目

开始/运行/cmd

进入要创建项目的目录,我创建名为ppp的scrapy

scrapy  startproject  ppp

再进入目录下ppp/ppp/spid