情况如下:
程序开始,发一个http请求,从回复的页面中将抽取得多个 url (例如10条),之后使用这些url再发请求,从10个回复的页面中抽取url(例如共100个),如此类推,内存中保存的url 不是将很大很大?!!!
解决办法:
一。转存到磁盘
当等待的url个数太多,把部分url写到文件中,当前内存只保留部分url,处理完这部分url马上释放内存,再读入保存在磁盘中的url到内存中。
情况如下:
程序开始,发一个http请求,从回复的页面中将抽取得多个 url (例如10条),之后使用这些url再发请求,从10个回复的页面中抽取url(例如共100个),如此类推,内存中保存的url 不是将很大很大?!!!
解决办法:
一。转存到磁盘
当等待的url个数太多,把部分url写到文件中,当前内存只保留部分url,处理完这部分url马上释放内存,再读入保存在磁盘中的url到内存中。