webmagic结合seimiagent实现动态信息页面的采集
webmagic结合seimiagent实现动态信息页面的采集简介webmagic是一个非常流行的已api方式采集网页信息的项目,但是对于动态加载的信息不能很好的支持,而目前大多数网页都或多或少的采用了动态加载方式展示页面信息。目前webmagic已经有了一个解决方案–webmagic-selenium,采用了自动测试工具selenium为支撑的方式采集,但是笔者发现了另外一个开源项目也能很好的实现
原创
2016-12-14 11:17:44 ·
2065 阅读 ·
1 评论