目录
2.2.2.执行pip install Scrapy可能会报如下错误
1.Scrapy介绍
Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。
2.Scrapy安装
2.1.安装前需要安装的软件
python
pip
如果都已经安装请查看python的版本。
2.2.安装Scrapy
2.2.1.安装命令
pip install Scrapy
2.2.2.执行pip install Scrapy可能会报如下错误
2.2.2.1.如果是报告pip的版本:
升级pip版本: python -m pip install --upgrade pip
2.2.2.1.如果是报告如下错误
building 'twisted.test.raiser' extension
error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": http://landinghub.visualstudio.com/visual-cpp-build-tools
首先去http://fstab.net/pypi/simple/twisted/下载
如下图,选择具体版本
安装Twisted所需要的版本:pip install Twisted-18.9.0-cp36-cp36m-win_amd64.whl
安装成功,继续执行pip install Scrapy。即可畅通无阻安装成功。
3.编写一个简单的爬虫
3.1.创建一个Scrapy项目
找到代码存储位置目录下执行,netmusic是自己的项目名称,可以随便定义(但不允许有特殊符号)。
scrapy startproject netmusic
在代码存储位置会生成如下目录结构
netmusic/
scrapy.cfg --项目的配置文件
netmusic/ --该项目的python模块。之后您将在此加入代码。
__init__.py --一般为空
items.py
pipelines.py
settings.py
spiders/
__init__.py
example.py