使php爬虫能够长期运行的一点总结

1、一定要在命令行运行，用浏览器长期运行服务器会报错。
2、可能会报错的代码段用try{}catch(){}包起来，拦截可能出现的报错，并写出对应解决方案。
3、如果经常出现curl各种报错，每次访问链接前sleep一下就能够避免，虽然会降低爬取速度，不过为了长期运行只能牺牲一下速度了。