预备知识
- Python基础语法
- 浏览器开发者工具使用(要求对网络请求情况及前端相关知识(html、css)等有基本的了解)
环境及工具
Window环境下安装的一点小问题
- 下载python通常已经包括了pip(可在安装后进入安装目录/Scripts查看)
- 安装pywin32可以采用:pip install pywin32
- Scrapy安装错误可以参考:Scrapy安装错误:Microsoft Visual C++ 14.0 is required…
工具推荐
- 集成开发环境(ide):pycharm
- 包管理必备:Anaconda (文件较大,教程前期暂不涉及)
- 编辑器:Sublime3 (推荐使用)
步骤
本篇文章使用的工具和环境:
语言:python 3.6
IDE: Pycharm
浏览器:Chrome
爬虫框架:Scrapy 1.5.0
确保环境都安装成功后,即可按照以下步骤