- 博客(3)
- 收藏
- 关注
原创 spiderFlow爬虫工具使用若干问题总结
1、需要使用到的系统变量,例如时间,尽量从js脚本中获取;2、服务正常使用(不止是爬虫服务)需要保证数据库时区、springboot配置时区、服务器操作系统时区(如果是docker容易部署,则是宿主机和容器时区)均要保持一致;3、要根据爬虫的请求量决定是否需要请求延时,需要延时多少(少量请求不需要延时也可以正常爬取)。
2023-06-27 18:23:08 1859 1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人