php cli 中的使用curl 内存溢出时的正确处理办法
最近在用PHP CLI 开发了爬虫 , 因为CURL可以同时请求多个数据,特别方便和快速 , 一天下来收集了 20多W条的有效URL,然后不停的下载各种文章 ,图片 , 图片半天下集了大概 2个G这样子 。
原理是这样子的,首先,通过首页入口,取得所有各个栏目的有效入口的URL,记录在MYSQL数据库,做个标识,爬取过的标识为1,这样,在PHP 中 通过 call_user_func 不停地...
原创
2018-11-08 17:35:47 ·
1839 阅读 ·
1 评论