看larbin源码看看的,感觉脑子里思路乱急了,整理整理。
larbin工作的主要步骤就是:
首先,初始化各种变量,等等。
然后进行dns解析
解析完后,进行抓取。
中间涉及到sequencer()这个函数,进行url调度,而在调度的时候又有很多问题。包括hash等问题。
现在就先弄清关于调度中的问题。 恩 !
转载于:https://blog.51cto.com/neuloner/343415
看larbin源码看看的,感觉脑子里思路乱急了,整理整理。
larbin工作的主要步骤就是:
首先,初始化各种变量,等等。
然后进行dns解析
解析完后,进行抓取。
中间涉及到sequencer()这个函数,进行url调度,而在调度的时候又有很多问题。包括hash等问题。
现在就先弄清关于调度中的问题。 恩 !
转载于:https://blog.51cto.com/neuloner/343415