scrapy 官方文档: https://docs.scrapy.org/en/latest/
首先你要安装 scrapy
安装方法很简单,打开cmd命令行:
pip install --upgrade pip #先升级pip
pip install scrapy #下载scrapy
解决 Scrapy 安装错误:Microsoft Visual C++ 14.0 is required...
问题描述:
当前环境 win7,python_3.6.1,64 位。
在 windows 下,在 dos 中运行 pip install Scrapy 报错:
error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build
Tools": http://landinghub.visualstudio.com/visual-cpp-build-tools
http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted 下载 twisted 对应版本的 whl 文件(如
我的 Twisted-18.4.0-cp36-cp36m-win_amd64.whl),
cp 后面是 python 版本,amd64 代表 64 位,运行命令:
pip install C:\Users\ibm\Downloads\Twisted-18.4.0-cp36-cp36m-win_amd64.whl
环境搭建---scrapy
pip install scrapy
创建项目
1) scrapy startproject 项目名称 #创建一个项目
2) cd 项目名称 #进入目录
3) scrapy genspider tencent hr.tencent.com #创建一个爬虫
4) VSCode 打开项目
项目中各个文件的作用
scrapy.cfg :项目的配置文件
mySpider/ :项目的 Python 模块,将会从这里引用代码
mySpider/items.py :项目的目标文件
mySpider/middlewares.py :项目的中间件文件
mySpider/pipelines.py :项目的管道文件
mySpider/settings.py :项目的设置文件
mySpider/spiders/ :存储爬虫代码目录
运行爬虫:scrapy crawl tencent