Scrapy框架爬取海量妹子图

版权声明：本文为博主原创文章，博客地址：https://blog.csdn.net/m0_37615390，未经博主允许不得转载。 

 

阅读文本大概需要 5 分钟。

上次用两篇文章讲了 Scrapy 爬虫框架和储存数据工具 MongoDB，今天我们用这两个工具完成一个项目。

今天要完成的项目的是用 Scrapy 框架爬取煎蛋网妹子图片，这个项目之前用常规方法已经做过一次，为什么这次还要做这个项目呢？

1.用不同的方法做同一个项目，学习不同方法的特点。

2.上次用常规方法的写的项目有点小瑕疵，文章中有一处代码的配图用错了。关键字获取的源码中有一个方法因粗心多写了一个参数导致下载图片失败（已修正）。之前上传到 Github 上的代码是正确的。

所以这次还是用这个项目来学习下，咳咳，我们真的是用来学习的。

先放两张爬取的图片来给大家一点学习的动力。

 

项目环境

语言：Python3
编辑器：Pycharm

首先确保电脑已配置好 Scrapy 框架环境和 MongoDB 环境。

创建 Scrapy 项目

cmd 中通过命令创建 Scrapy 项目。

 

全部内容请  点击这里查看