爬虫基础
python的基础在其他的文章中有介绍,将在本笔记中不再讲解。
安装Scrapy
Scrapy的安装相对简单,推荐在Anaconda环境下安装Scrapy。Anaconda是一个开源的Python发行版本,其包含了conda、Python等180多个科学包及其依赖项。
安装Anaconda
我们在清华镜像网站(https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/) 下载安装包,这样下载速度可以快一些。在这里选择适合自己的版本进行下载安装就可以了。我使用的是python3.6的最新版本。
安装Scrapy
在DOS窗口中输入pip install scrapy直接进行安装即可。
就这样scrapy傻瓜式安装成功了。