用Htmlunit和Jsoup组建Java爬虫

最新推荐文章于 2024-04-30 14:28:06 发布

阿符阿

最新推荐文章于 2024-04-30 14:28:06 发布

阅读量363

点赞数 2

分类专栏：后端数据库文章标签： java jdbc mysql

本文链接：https://blog.csdn.net/weixin_45680830/article/details/109854845

版权

一、应用场景和思路

简单的说，Htmlunit相当与一个没有显示界面的浏览器，所以可以模拟执行点击、输入等操作；而 Jsoup则是一个页面解析器，用于定位元素并提取内容。

它们的优缺点：
Htmlunit：
优：适用于需要登录、搜索、点击等多步操作才能到达爬取页面的网站，不需要面对cookie登陆会失效的问题。
缺：需要根据不同网站“定制”，比较耗时。但是在完成定制后，除非网站发生改动，可以一直使用。
Jsoup：
优：适用于多样传输数据的网站，不需要抓包。
缺：也需要根据网站“定制”，也是完成后可以一直使用。

总结来说，这样的方案可以用在任何网站上，但是需要“定制”，无法泛用。

一般的思路就是通过Htmlunit到达爬取页面，然后用Jsoup解析，定位到爬取元素并获取数据，将数据保存到数据库。

二、Htmlunit的方法

Htmlunit方法需要try/catch环绕。

初始化：这里一个WebClient就是一个浏览器。

WebClient webClient;

public Crawler(){
   
    webClient = new WebClient(BrowserVersion.CHROME);//新建一个模拟谷歌Chrome浏览器的浏览器客户端对象
    webClient.getOptions().setThrowExceptionOnScriptError(false);//当JS执行出错的时候是否抛出异常, 这里选择不需要
    webClient.getOptions().setThrowExceptionOnFailingStatusCode(false);//当HTTP的状态非200时是否抛出异常, 这里选择不需要
    webClient.getOptions().setActiveXNative(false);
    webClient.getOptions().setCssEnabled(false);//是否启用CSS, 因为不需要展现页面, 所以不需要启用
    webClient.getOptions().setJavaScriptEnabled(true); //很重要，启用JS。有些网站要开启！
    webClient.setAjaxController(new NicelyResynchronizingAjaxController());//很重要，设置支持AJAX
    webClient.getOptions().setTimeout(30000);
    }