larbin程序重启方案

问题说明：larbin程序爬取某个网站，在爬取完所有连接后，如果有定义爬取完后exit()，则程序会终止进程；如果没有定义，larbin程序只会会输出一些统计信息，其他貌似都没工作了，对于新增的连接也不会爬取。

鉴于以上问题，larbin程序需要重启。一下介绍两个方案，代码就不贴了。

 

 

方案一：

主要思想：

判断队列（ URLsDisk->getLength()，URLsDiskWait->getLength() ）是否为空，如果队列为空则说明已经没有需要爬取的url连接了，larbin程序需要重新启动。

方案二：

主要思想：

定义urls（到目前已经获取的url数量），pages（到目前已经获取的pages），old_url（8秒前已经获取的url数量），old_pages（8秒前已经获取的page数量）

如果目前获取的url、pages数量和8秒前获取的url、pages数量相等，则判断larbin程序已经完成了爬取，需要重启。

重启步骤，先创建子进程，子进程启动新的larbin程序后，父进程杀死原来的larbin程序。