分两步走:
第一步:采集信息页面和目录页面,信息页面入库,把章节名和网址及排序生成一个json存储到小说目录文件夹下面。
第二步:挂线程采集章节,按照json里面的顺序把标题入库及排序入库。
这样是不是要好点,随便怎么采集都不会出错。虽然工程量稍微大点,但对于总工程量来说基本可以忽略不计。而且更新的时候有现成的json可以对比。
转载于:https://my.oschina.net/u/258293/blog/386890
分两步走:
第一步:采集信息页面和目录页面,信息页面入库,把章节名和网址及排序生成一个json存储到小说目录文件夹下面。
第二步:挂线程采集章节,按照json里面的顺序把标题入库及排序入库。
这样是不是要好点,随便怎么采集都不会出错。虽然工程量稍微大点,但对于总工程量来说基本可以忽略不计。而且更新的时候有现成的json可以对比。
转载于:https://my.oschina.net/u/258293/blog/386890