scrapy的使用

scrapy 官方文档： https://docs.scrapy.org/en/latest/

首先你要安装 scrapy

安装方法很简单，打开cmd命令行：

pip install --upgrade pip    #先升级pip
pip install scrapy           #下载scrapy

解决 Scrapy 安装错误:Microsoft Visual C++ 14.0 is required...

问题描述：
当前环境 win7，python_3.6.1，64 位。
在 windows 下，在 dos 中运行 pip install Scrapy 报错：
error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build
Tools": http://landinghub.visualstudio.com/visual-cpp-build-tools

http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted 下载 twisted 对应版本的 whl 文件（如
我的 Twisted-18.4.0-cp36-cp36m-win_amd64.whl），
cp 后面是 python 版本，amd64 代表 64 位，运行命令：

pip install C:\Users\ibm\Downloads\Twisted-18.4.0-cp36-cp36m-win_amd64.whl

 

环境搭建---scrapy

pip install scrapy

创建项目

1) scrapy startproject 项目名称                #创建一个项目

2) cd 项目名称                                 #进入目录

3) scrapy genspider tencent hr.tencent.com    #创建一个爬虫

4) VSCode 打开项目

项目中各个文件的作用

scrapy.cfg ：项目的配置文件
mySpider/ ：项目的 Python 模块，将会从这里引用代码
mySpider/items.py ：项目的目标文件
mySpider/middlewares.py ：项目的中间件文件
mySpider/pipelines.py ：项目的管道文件
mySpider/settings.py ：项目的设置文件
mySpider/spiders/ ：存储爬虫代码目录

运行爬虫：scrapy crawl tencent