使用jxbrowser7 做爬虫采集

最新推荐文章于 2024-06-17 14:56:48 发布

陕西小伙伴网络科技有限公司

最新推荐文章于 2024-06-17 14:56:48 发布

阅读量1.6k

点赞数

文章标签：爬虫

本文链接：https://blog.csdn.net/shuaizai88/article/details/130933397

版权

1、jxborwser7介绍

jxborwser7对于jxborwser6进行了大规模重构，放弃了对xp的支持，支持win7以上版本，提高了性能。

2、爬虫思路

爬虫就是拦截服务器对于浏览器的返回内容，所以我们要用到jxbrowser的network模块，network模块中从发起请求到返回结果的流程如下图：

经过阅读官网文档，我发现 ResponseBytesReceived 事件可以获取到服务器给浏览器返回的数据，然后我们判断下url就可以拿到服务器返回的json了。

browserView.getBrowser().profile().network().on(ResponseBytesReceived.class, event -> {
                if(event.urlRequest().equals("https://xx.xx.cn/api") ){
                    byte[] data = event.data();
                    try {
                        String body = new String(data, "UTF-8");
                        JSON jsonBody = JSONUtil.parse(body);
                    } catch (UnsupportedEncodingException e) {
                        throw new RuntimeException(e);
                    }
                }
            });