weixin_42616602的博客

原创 JSoup+Htmlunit爬取分页组件中的分页数据

JSoup+htmlunit爬取分页组件中的数据 业务需求场景 爬取XX网站中的球队数据-球队的比赛赛程（所有赛程放在一个分页主件中的） 这里不像传统的分页页面，需要传入一个page页码再去请求，然后再去爬取table 中的数据 解决思路 利用 htmlunit 去模拟点击事件（这里指点击下一页），循环点击去取到每一页的结果（效率低，建议后面存缓存或者入库） 分析页面： 我们可以发现数据是放在...