报错
在使用python爬取新浪微博的时候,采取了深度优先来抓取,写了个递归函数。但有个页面的值出现了异常,最后报了RecursionError: maximum recursion depth exceeded in comparison这个错误。
尝试
发现python默认的递归深度是很有限的(默认是1000),因此当递归深度超过999的样子,就会引发这样的一个异常。
于是我写了下面的代码进行测试,func作为递归函数
程序运行的结果 当递归深度超过999达到1000的时候,引发了这个异常
解决
可以修改递归深度的值,让它变大大一点
import sys
sys.setrecursionlimit(100000) #例如这里设置为十万
结语
这个解决方法并不治本,还需要在代码上进行优化。我出现这个错误的原因是忽略了对爬取页面的异常值处理,在增加判断之后,递归深度一般达不到python的默认限制。