Python爬虫框架scrapy---入门

预备知识

• Python基础语法
• 浏览器开发者工具使用（要求对网络请求情况及前端相关知识(html、css)等有基本的了解）

环境及工具

安装指南

Window环境下安装的一点小问题

1. 下载python通常已经包括了pip(可在安装后进入安装目录/Scripts查看)
2. 安装pywin32可以采用：pip install pywin32
3. Scrapy安装错误可以参考:Scrapy安装错误：Microsoft Visual C++ 14.0 is required…

工具推荐

1. 集成开发环境(ide)：pycharm
2. 包管理必备：Anaconda (文件较大，教程前期暂不涉及)
3. 编辑器：Sublime3 （推荐使用）

步骤

本篇文章使用的工具和环境：
语言：python 3.6
IDE： Pycharm
浏览器：Chrome
爬虫框架：Scrapy 1.5.0

确保环境都安装成功后，即可按照以下步骤