最近写了一个webmagic爬虫程序,在运行时很慢很慢。后来调试发现了Site类有个属性叫sleepTime默认是5秒,也就是每次爬都要睡眠5秒。
在Site.me().setSleepTime(200),改为200毫秒,速度一下子就飞快了!
webmagic速度慢的原因
最新推荐文章于 2024-08-15 12:11:47 发布
最近写了一个webmagic爬虫程序,在运行时很慢很慢。后来调试发现了Site类有个属性叫sleepTime默认是5秒,也就是每次爬都要睡眠5秒。
在Site.me().setSleepTime(200),改为200毫秒,速度一下子就飞快了!