Mark_Coder的博客

爬虫分类 ：数据来源PC端爬虫(网页端爬虫)找数据接口 (requests,scrapy)seleniumAPP端爬虫找数据接口如何找数据接口 -fiddler如何获取app与服务器进行交互的数据包-模拟器appium抓不到数据包请求抓取数据包里的参数涉及加密(app逆向)参考文档：https://www.cnblogs.com/woaixuexi9999/p/9247705.html数据包的详细数据在 Inspectors(用于查看数据包内容)上半部分是请求。

redis是什么？Redis高性能，开源C语言开发的，以键值对存储数据的No Sql数据库No sql ：非关系型数据数据都是K-V形式为啥需要学习redis？爬虫：数据存储文本：csv,excel,text,json数据：MongoDB分布式爬虫缓存redis特点？支持数据持久化，可以将内存的数据保存到硬盘string list set zset hash数据结构的存储支持数据备份速度快应用场景用来做缓存。

提交完申请之后，需要等待一小会儿......点击 EasyDL版控制台之后 扫码登陆。创建成功之后 能够在应用列表看到相关信息。需要比较长的时间训练......

恢复执行这个常用的场景有两个，一个是结束调试，比如要同一个页面要换一个请求分析的时候可以结束当前调试，另一个是进入一个相当长的不重要的循环中，但是又需要分析同一个函数中后面的代码，这时可以在循环外面打一个断点，再恢复执行，可以快速跳出循环。在一些网页的渲染，行为和请求等等的实现后面都有JS代码进行执行，我们对JS代码打了断点之后，当JS执行到我们打断点的那一行时就会暂停执行，其实就像我们在IDE中编写Python一样，是对代码进行调试的一个工具。设置断点的最基本的方法是在特定的代码行上手动添加一个断点。

接着上篇文章，我们已经实现图片的下载，但是我们发现整个爬取过程中，因为使用了，导致每次遍历，都会打开文件在关闭，打开文件在关闭（套娃）。所以需要注意for循环的使用，其次下载图片是整个程序中最耗时的，如果需要提升爬取速度，那么我们可以从这个方向入手，实现爬取。

右击此电脑->属性->高级系统设置->系统环境变量->选择path->编辑->新建->复制mongodb的安装路径->确定（保存）下载安装包的时候注意一下，版本不要选择太新或者太旧的版本，要考虑电脑系统，尽量下载 xxx.msi的。需要先打开一个终端启动服务，在打开终端输入mongo链接。提前在D盘符下面新建了一个 MongoDB的文件夹。@ 符号后面的 4.4 是最新版本号。打开cmd，输入mongo。

首先是一个美图壁纸兴趣社区，有大量的图片今天我们实现搜索关键字爬取堆糖网上相关的美图。当然我们还可以实现多线程爬虫，加快爬虫爬取速度。