网络爬虫知识 day02

2.5 连接池

        如果每次请求都要创建HttpClient，会有频繁创建和销毁的问题，可以使用连接池来解决这个问题。

2.6 请求参数

        有时候因为网络，或者目标服务器的原因，请求需要更长的时间才能完成，我们需要自定义相关时间

 

三、Jsoup

            我们抓取到页面之后，还需要对页面进行解析。可以使用字符串处理工具解析页面，也可以使用正则表达式，但是这些方法都会带来很大的开发成本，所以我们需要使用一款专门解析html页面的技术。

3.1 jsoup介绍

        jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。

        jsoup的主要功能如下：

               1. 从一个URL，文件或字符串中解析HTML；

               2. 使用DOM或CSS选择器来查找、取出数据；

               3. 可操作HTML元素、属性、文本；

        在Maven工程中的Pom.xml中加入Jsoup依赖：

        <!--Jsoup-->

        <dependency>

                <groupId>org.jsoup</groupId>

                <artifactId>jsoup</artifactId>

                <version>1.10.3</version>

        </dependency>

        <!--测试-->

        <dependency>

                <groupId>junit</groupId>

                <artifactId>junit</artifactId>

                <version>4.12</version>

        </dependency>

        <!--工具-->

        <dependency>

                <groupId>org.apache.commons</groupId>

                <artifactId>commons-lang3</artifactId>

                <version>3.7</version>

        </dependency>

        <dependency>

                <groupId>commons-io</groupId>

                <artifactId>commons-io</artifactId>

                <version>2.6</version>

        </dependency>

3.2 jsoup解析

3.2.1 解析url

        Jsoup可以直接输入url，它会发起请求并获取数据，封装为Document对象

 注意：虽然使用Jsoup可以替代HttpClient直接发起请求解析数据，但是往往不会这样用，因为实际的开发过程中，需要使用到多线程，连接池，代理等等方式，而jsoup对这些的支持并不是很好，所以我们一般把jsoup仅仅作为Html解析工具使用。

3.2.2 解析字符串

        先准备一个html文件

        Jsoup可以直接输入字符串，并封装为Document对象

3.2.3 解析文件

        Jsoup可以直接解析文件，并封装为Document对象

3.2.4 使用dom方式遍历文档

        元素获取

            1. 根据id查询元素getElementById

            2. 根据标签获取元素getElementsByTag

            3. 根据class获取元素getElementsByClass

            4. 根据属性获取元素getElementsByAttribute

//1、根据id查询元素getElementById

Element element = document.getElementById("city_bj");

//2、根据标签获取元素getElementsByTag

element = document.getElementsByTag("title").first();

//3、根据class获取元素getElementsByClass

element = document.getElementsByClass("s_name").last();

//4、根据属性获取元素getElementsByAttribute

element = document.getElementsByAttribute("abc").first();

element = document.getElementsByAttributeValue("class","city_con").first();

3.2.5 使用选择器语法查找元素

        jsoup elements对象支持类似于CSS (或jquery)的选择器语法，来实现非常强大和灵活的查找功能。这个select 方法在Document, Element,或Elements对象中都可以使用。且是上下文相关的，因此可实现指定元素的过滤，或者链式选择访问。

        Select方法将返回一个Elements集合，并提供一组方法来抽取和处理结果。

3.2.6 Selector选择器概述

    tagname: 通过标签查找元素，比如：span

    #id: 通过ID查找元素，比如：# city_bj

    .class: 通过class名称查找元素，比如：.class_a

    [attribute]: 利用属性查找元素，比如：[abc]

    [attr=value]: 利用属性值来查找元素，比如：[class=s_name]

3.2.7 Selector选择器组合使用

    el#id: 元素+ID，比如： h3#city_bj

    el.class: 元素+class，比如： li.class_a

    el[attr]: 元素+属性名，比如： span[abc]

    任意组合: 比如：span[abc].s_name

    ancestor child: 查找某个元素下子元素，比如：.city_con li 查找"city_con"下的所有li

    parent > child: 查找某个父元素下的直接子元素，比如：

    .city_con > ul > li 查找city_con第一级（直接子元素）的ul，再找所有ul下的第一级li

    parent > *: 查找某个父元素下所有直接子元素