weixin_43770993的博客

本篇是基础爬虫专栏的最后一篇文章，有关进阶爬虫技术的内容现已开始更新，但不会每一篇都会在此处发布，有需要的可直接加群了解，废话不多说，直接进入今天的文章内容。

process_spider_input：当爬虫中即将调用某一个回调函数parse_xxx之前，该方法被调用process_spider_output：当spider处理response返回result，及遇到yield是该方法会被调用process_spider_exception：当spider出现异常时，该方法被调用process_start_requests：当爬虫发起请求的时候，该方法被调用。

在上篇文章中我们学习了关于scrapy中的数据解析以及在scrapy框架中的日志配置方法。那么在今天的文章中我们就来看关于scrapy中对于数据的存储是如何实现的。在前面的文章中我们介绍到scrapy中的五大组件，其中专门用于存储阶段的组件就是管道，所以今天主要呢也是对围绕着管道来对scrapy中的存储进行学习。

在上一篇文章我们已经对scrapy框架有了一个简单的认识，那么本篇文章中我们就来对其进行一个简单的应用，不同于原生爬虫代码的是，scrapy是一个相对较成熟的框架，所以并不能直接去执行某一个python文件来执行采集任务，而是要通过脚本命令来实现项目的启动。

目标网站：aHR0cHM6Ly96aG9uZ2Nob3UubW9kaWFuLmNvbS9hbGwvdG9wX3RpbWUvYWxsLw==目标数据：任意详情页中的评论信息。

什么是框架？就是一个集成了很多功能并且具有很强的通用性的一个模板如何学习框架？学习框架封装的各种功能的详细用法scrapy是一个爬虫中封装好的明星框架，诞生之初是为了页面的抓取，之后进一步扩展可应用于获取 api所返回的数据或者通用的网络爬虫。使用scrapy框架开发的爬虫程序，任何开发人员都可以根据需 求很方便的对其进行修改，大大提高了开发效率。

通过上一篇文章之后相信大家对于web js逆向已经有了一个初步的认识，可能都认为逆向也不过如此嘛，如果有这种想法那就大错特错！要知道在上篇文章案例中的网站是使用md5加密算法来对参数进行加密，所以要改写成Python的话还是非常容易的，那如果别人网站使用的是自己实现的算法或者魔改后的常规算法呢？并且这还算好的，至少还能看，如果遇到混淆的话，那代码简直是不堪入目。所以，这种情况下，与其改写代码，不如直接让其算法在我们的本地运行，通过Python获取到本地运行的结果来实现参数的生成，接下来我们就正式进入本篇文章

在前面的文章中我们已经学习到了如何从网站中获取到数据，接下来我们就要开始学习如何将我们从网站中获取到的数据进行保存，存储的媒介是分为很多种的，例如:文本文档、excel、json、数据库等；MongoDB文档的数据结构和json基本是一样的，所有存储在集合中的数据都是BSON格式。（1）键值对存储（key-value）：代表软件Redis，它的优点能够进行数据的快速查询，而缺点是需要存储数据之间的关系。注意，再查看时，并不会显示出刚刚创建的数据库，如果要显示出来，我们还需要在里面插入一条数据之后才会显示。

要知道两个几乎不同的东西要进行交互的话是必然的有一座桥梁的，Python也不能无缘无故就能够直接对MongoDB进行操作，因此我们需要借助于一些第三方的手段来实现Python对MongoDB的操作，而这则是一个名为pymongo的第三方模块，该模块为提供了Python连接MongoDB的驱动组件，那么接下来我们就来对其进行学习吧。增删改查的操作其实几乎与我们在MongoDB提供的终端中所使用的命令几乎一致，接下来我们就来实际操作一下。该方法第一个参数为查询的条件，第二个参数为要修改的字段。

反反爬的主要思路->尽可能的去模拟浏览器对服务器发起请求，浏览器中认为如何操作，代码中就如何去实现。例如：浏览器中先请求了url1，然后获取到服务器返回的cookie保存在本地，然后再去请求url2，此时就会带上url1返回的cookie进行请求，如果没有携带这个cookie就会请求失败Hash，译做“散列”，也有直接音译为“哈希”的。把任意长度的输入，通过某种hash算法，变换成固定长度的输出，该输出就是散列值，也称摘要值。该算法就是哈希函数，也称摘要函数。MD5的固定长度为128比特，16字节。

爬虫的本质：就是客户端向服务器请求批量获取响应数据。如果有多个待爬取的url的话，只用一个线程切采用串行的方式执行，那么只能等待一个爬虫任务完成之后才能继续下一个爬虫任务，这样的话效率是非常低的。所以，在我们心中其实很自然的就可以想到使用异步机制来提高爬虫的速度。通过构建进程池或者线程池来完成异步爬虫，即使用多进程或多线程来处理多个请求，当别的进程或线程发生阻塞时，自动切换到另一进程或线程执行下一个爬虫任务。高性能异步爬虫的目的：在爬虫中使用异步实现高性能的数据爬取操作。

需求：某侠网对于最新上市大作的名称，注：名称在第二级页面就已经有了的，但是为了大家练习代码与xpath，所以我们解析到第三级详情页面。主页如上图所示，接下来对我们的需求进一步进行解析，从需求中我们可以知道我们采集的目标是最新上市的大作，所以从主页来看的话种类比较繁杂，就连人工直接判断“大作”都会非常困难，所以不难想象如果要让代码实现从主页去采集“大作”数据的话更加的难以实现。因此，在本需求中我们访问到站点主页之后要做的第一步就是分析并找出“大作”所在。

点击第一个包以及preview，可以看到，明明页面上有电影数据，但是preview（预览）里面却没有显示，这就证明在当前页面中我们需要的目标数据在当前页面中是一个异步加载的数据。同步加载又称阻塞模式，会阻止浏览器的后续处理，停止了后续的解析，要先执行完当前操作，再继续下一步的操作，因此停止了后续的文件加载（如图像）、渲染、代码执行。明显是不可能的，例如上方的电影网站。的意思就是说，来第一个点菜，点了个鱼，好， 厨师去捉鱼杀鱼，过了半小时鱼好了给第一位客人，开始下位一位客人，就这样一个一个来，按。

用来解析多层嵌套的json数据;JsonPath 是一种信息抽取类库，是从JSON文档中抽取指定信息的工具，提供多种语言实现版本，包括：Javascript, Python， PHP 和 Java。

什么是状态？就像谈恋爱一样，初见面时一个状态、看电影时一个状态、吃饭时一个状态、深入交流时一个状态…咳咳，扯远了。总的来说就是当用户(爬虫)向服务器发起请求然后服务器返回响应给我们的这个过程中，用户和服务器就处于一个“通话”状态，如果我们换了一个环境再去向服务器请求的时候服务器就不知道我们在本次请求之前做过什么。这就相当于和老婆打着电话，然后老板突然打电话来要求要开会，没办法先挂了吧，开完会回来再和老婆打电话你说你去开会了，那老婆信不信呢？这就有待商榷了。

本章节对于浏览器开发者工具的说明并没有完完全全进行详写，只提出了在爬虫开发中常用的一些功能，如有不理解的地方可以私我解决。目前还没有正式进入到案例阶段，所以代码部分比较少，数据在网页中的分析过程也比较少，但大家不要担心，后面案例的时候我们会有详细的网站分析步骤。目前重要的是先打牢基础。

在上一章我们了解到了爬虫的基本定义以及爬虫工作时的相关原理，那今天呢我们就正式进入爬虫的学习。首先要知道，Python这门语言拥有着丰富的标准库以及先辈们开发的各种功能强大的第三方库。而今天我们主要学习的呢就是关于Python中的包管理工具以及对爬虫学习过程中的第一个库requests的学习。pip是python的一个通用包管理工具，其提供了对Python包的下载、安装、查找、卸载功能。

今日份学习主要是从简单的理论上来为大家进行分析，虽然没有实操环节，但仍然是今后的爬虫生涯中必不可少的一部分。现如今，大数据和人工智能时时刻刻伴于每一个人的生活，那么我们得知道其有一个非常重要的部分——数据。而数据又是来自什么地方？比如说相对比较原始的数据来源——走访调查；再如我们从一些开放平台进行数据的下载等。有的其他行业的朋友可能就会问了，既然数据的来源这么多那么为什么还要学习爬虫。