Windows下安装Scrap
简介
Scrapy
是 Python
开发的一个快速、高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛,可以用于数据挖掘、监测和自动化测试
安装Scrapy框架以及安装时出现的一系列错误解决方案
步骤如下:
- 打开cmd窗口,进入Script目录:cd Python37\Scripts
- 安装libxlm2dom包,输入pip install libxlm2dom
- 安装wheel,输入pip install wheel
- 安装 lxml,输入pip install lxml
- 安装PyOpenssl 包,输入pip install PyOpenssl
- 安装inzope.interfnce,输入pip install inzope.interfnce
- 安装twisted,输入pip install twisted,出现了
Microsoft Visual C++ 14.0 is required
的错误,网上搜索得知,需要自己去下载twisted(whl文件)并安装 - 先明确要下载的whl文件版本:在cmd输入 python,有显示python版本,可以根据此版本得知对应的whl文件版本(pyhton3.7对应为cp37,操作系统64对应amd64);或者接着输入impor pip._internal回车,再输入print(pip.