python多线程爬虫数据顺序_多线程爬取小说时如何保证章节的顺序

前言

爬取小说时，以每一个章节为一个线程进行爬取，如果不加以控制的话，保存的时候各个章节之间的顺序会乱掉。

当然，这里说的是一本小说保存为单个txt文件，如果以每个章节为一个txt文件，自然不会存在这种情况。

不仅仅是小说，一些其他的数据在多线程爬取时也有类似情况，比如：

漫画：漫画其实是由大量图片组成，一般一本漫画会保存为一个pdf文件，在此过程要保证图片的顺序。

视频：现在网络上的视频大部分是由多个ts文件拼合，最后保存为一个mp4文件，要保证ts文件的顺序。

它们都有一个共同的特点，那就是：爬取目标时有多个链接，但保存后却只有一个文件，且无法在保存完毕后进行二次排序。

单线程时，这一类文件的爬取不会出现任何问题；

多线程时，因为爬取顺序的不确定性，导致保存的顺序紊乱。

解决方案

问题的根本原因在于：因为爬取和保存的一致性，混乱的爬取顺序使得保存顺序也变得混乱。

解决方案：将爬取过程和保存过程分离，多线程爬取数据，但按顺序保存数据。

比如一本小说，在爬取章节的过程中可以使用多线程，但不要在爬取之后立即保存，等待时机，精准写入。

那这个时机是什么呢？

可以在爬取章节的过程中，给每个章节一个带序号的标记，这个序号即小说章节的序号；保存时，从序号0开始保存，记录这一个序号，再检测当前爬取的章节中有没有比记录的序号刚好