weixin_44356644的博客

原创 动态爬虫系统

1:可支持自动化测试，简单的黑盒测试和功能测试，简单实现模拟真人注册，登陆，点击按钮，拖拽页面，滚动下滑和获取返回值比较，模拟真人操作流程，大大简化了人工QA成本。 2：跟以往静态爬虫不同，以往的curl获取资源再解析和Xsoup/Jsoup等爬虫都只能够爬取网页上已展示出来的静态页面，动态加载的数据都无法获取。这套系统能爬取任意一种触发条件后出现的动态数据（包括滚动，懒加载，点击，自动输入设置好...