前言
爬取小说时,以每一个章节为一个线程进行爬取,如果不加以控制的话,保存的时候各个章节之间的顺序会乱掉。
当然,这里说的是一本小说保存为单个txt文件,如果以每个章节为一个txt文件,自然不会存在这种情况。
不仅仅是小说,一些其他的数据在多线程爬取时也有类似情况,比如:
- 漫画:漫画其实是由大量图片组成,一般一本漫画会保存为一个pdf文件,在此过程要保证图片的顺序。
- 视频:现在网络上的视频大部分是由多个ts文件拼合,最后保存为一个mp4文件,要保证ts文件的顺序。
它们都有一个共同的特点,那就是:爬取目标时有多个链接,但保存后却只有一个文件,且无法在保存完毕后进行二次排序。
单线程时,这一类文件的爬取不会出现任何问题;
多线程时,因为爬取顺序的不确定性,导致保存的顺序紊乱。
解决方案
问题的根本原因在于:因为爬取和保存的一致性,混乱的爬取顺序使得保存顺序也变得混乱。
解决方案:将爬取过程和保存过程分离,多线程爬取数据,但按顺序保存数据。
比如一本小说,在爬取章节的过程中可以使用多线程,但不要在爬取之后立即保存,等待时机,精准写入。
那这个时机是什么呢?
可以在爬取章节的过程中,给每个章节一个带序号的标记,这个序号即小说章节的序号;保存时,从序号0开始保存,记录这一个序号,再检测当前爬取的章节中有没有比记录的序号刚好大于1的(大于1相当于下一个章节),有就写入,没有就等待。
具体过程:
- 爬取目录页,抽取出所有的章节链接。
- 将所有待爬取的链接扔到一个队列里面去,同时给每个链接一个标记。
- 开5个线程,不断地从队列里面拿链接进行爬取。
- 单个章节爬取之后,让爬取这个链接的线程阻塞。
- 申明一个成员变量,表示保存的章节序号,从-1开始
- 当前线程的链接标记是否刚好比章节序号大于1,是就保存,不是就继续阻塞
- 因为是从队列中取数据,就能够保证这5个章节是还没有被爬取的前5个章节
具体实现
爬虫代码用的python实现,自定义的线程类,这里以http://www.booktxt.net/8_8455/爬取为例。
代码如下:
import requests