java爬虫

都说python比java写爬虫更容易，我特意用python写了爬虫，对比java写爬虫，确实python更容易，主要是完善的支持库和语法特性占了优势。在GitHub上java爬虫有几个项目还是很不错的，有兴趣的可以去看看。

一、列举爬虫

爬虫主要是依赖于基础的tcp协议或者高级http协议，根据不同的工作场景分为2种：

1、数据爬虫

     爬取方式：主要是寻找服务端接口地址进行模拟请求获得数据，主要适用于请求回来是一串数据而不是一个网页的场景。基本要素是伪装用户骗取服务器信任得到数据。

     防范方式：

        a、服务端进行严格的授权策略。具体做法是生成短暂过期token，通常用于cookie中。

        b、服务端进行频繁业务请求记录。比如1秒内请求了10几次，服务器会将此ip锁住一段时间拒绝提供任何服务。

        c、请求头检测。服务端对请求头进行检测，鉴定是否为爬虫，这种方式检测成爬虫的几率太小，爬虫程序稍微伪装一下即可。

    实现方案：

        推荐使用vertx，详情查阅vertx文档。

2、页面爬虫

     爬取方式：等待页面与js渲染完成后根据返回的网页xml节点进行解析，主要适用于请求回来是一个网页而不是一串数据的场景。基本要素是根据网页节点做数据解析，得到页面上需要的数据。

    防范方式：

        a、使用自动生成ui的前端框架，增加页面xml的复杂度，提高解析的难度。

   实现方案:

        htmlunit

在此我只想介绍 页面爬虫的实现htmlunit。数据爬虫的实现太多了

二、介绍htmlunit

htmlunit是一个拿来做html测试的东西，它可以模拟一个浏览器，在页面上的所有行为完全可以用代码控制。

官网 http://htmlunit.sourceforge.net/

三、实现一个页面爬虫

1、maven支持

<dependency>
    <groupId>net.sourceforge.htmlunit</groupId>
    <artifactId>htmlunit</artifactId>
    <version>2.34.1</version>
</dependency>

2、抓取页面

/访问的目标网址
private static String TARGET_URL = "https://www.naifen123.cn/item-2266.html";

public static void main(String[] args) throws FailingHttpStatusCodeException, IOException {
    // 模拟一个浏览器
    WebClient webClient = new WebClient(BrowserVersion.CHROME);
    // 设置webClient的相关参数
    webClient.setCssErrorHandler(new SilentCssErrorHandler());
    //设置ajax
    webClient.setAjaxController(new NicelyResynchronizingAjaxController());
    //设置支持js
    webClient.getOptions().setJavaScriptEnabled(false);
    //CSS渲染禁止
    webClient.getOptions().setCssEnabled(false);
    //超时时间
    webClient.getOptions().setTimeout(50000);
    //设置js抛出异常:false
    webClient.getOptions().setThrowExceptionOnScriptError(false);
    //允许重定向
    webClient.getOptions().setRedirectEnabled(true);
    //允许cookie
    webClient.getCookieManager().setCookiesEnabled(true);
    // 模拟浏览器打开一个目标网址
    HtmlPage page = webClient.getPage(TARGET_URL);
    // 等待JS驱动dom完成获得还原后的网页
    webClient.waitForBackgroundJavaScript(10000 * 3);
    //业务
    service(page);
    webClient.close();
    System.out.println("Success!");
}

private static void service(HtmlPage page) {
    System.out.println("******** 业务开始 ***********************************");
    //标题头
    HtmlHeading1 topName = (HtmlHeading1) page.getByXPath("//h1[@class='q_left aqnfxq1_tl_lf']").get(0);

//配方含量
//中国标准-主要配方
HtmlDivision formulaDiv1 = (HtmlDivision) page.getByXPath("//div[@id='bzdiv_3']/div[@class='nf123_yynl clearfix']").get(0);
//主要配方
Map<DomText, List<DomNode>> formulaMap1 = new HashMap<>();
List<DomNode> formula = new ArrayList<>(formulaDiv1.getChildNodes());
DomText key = (DomText) formula.get(0);
formula.remove(0);
formulaMap1.put(key, formula);
//中国标准-主要配方详情表
List<HtmlTable> formulaTables = page.getByXPath("//div[@id='bzdiv_3']/div[@class='nf123_xxyypf clearfix']/table");
List<List<String>> formulaSet = new ArrayList<>();
formulaTables.forEach(t -> {
    t.getRows().forEach(r -> {
        if (r.asText().trim().length() > 0) {
            List<String> com = new ArrayList<>();
            for (int i = 0; i < 3; i++) {
                com.add(r.getCells().get(i).asText());
            }
            formulaSet.add(com);
        }
    });
});
//原料分析
//原料注意
List<HtmlDivision> materialDiv1 = page.getByXPath("//div[@class='aqnfxqb_lf_b']/div[@class='aqnfxq3_1_2 aqnfxq5_2']");
Map<String, String> material1 = new HashMap<>();
if (materialDiv1 != null && !materialDiv1.isEmpty()) {
    HtmlDivision materialDiv = materialDiv1.get(0);
    materialDiv.getChildNodes().forEach(n -> {
        if (n.asText().trim().length() > 0) {
            material1.put(n.getChildNodes().get(0).asText(), n.getChildNodes().get(1).asText());
        }
    });
}
List<HtmlDivision> materialDiv2 = page.getByXPath("//div[@class='aqnfxqb_lf_b']/div[@class='aqnfxq5_4']");
List<String> material2 = new ArrayList<>();
if (materialDiv2 != null && !materialDiv2.isEmpty()) {
    HtmlDivision materialDiv = materialDiv2.get(0);
    String str = materialDiv.asText().trim();
    if (str.length() > 0) {
        str = str.replaceAll("。", "");
        String[] com = str.split("，");
        System.out.println("------" + com.toString());
        material2.addAll(Arrays.stream(com).collect(Collectors.toList()));
    }
}

System.out.println(topName.asText());

System.out.println("原料注意:");
material1.entrySet().forEach(m -> {
    System.out.println(m.getKey() + " : " + m.getValue());
});
System.out.println("原料详情:");
material2.forEach(m -> {
    System.out.println(m);
});

}

我这里只演示了抓取页面上的数据，htmlunit还提供了很多功能，比如模拟点击，悬停，选择、表单获取，登录，操作cookie、增加html标签元素等等，可以理解成 htmlunit 就是一个程序中内嵌的浏览器，可以做到浏览器的绝大多数功能。

欢迎关注我的个人公众号