3.1.2 Jsoup请求URL

org.jsoup.Jsoup类可以用来处理连接操作。在org.jsoup.Jsoup类中提供了connect(String url)方法来创建一个新连接，该方法的实现依赖于Java网络通信包java.net。在创建连接之后，可通过具体请求方法(GET或POST等)获取URL对应的HTML文件。
如需要采集某页面中的文本内容。首先，利用谷歌浏览器进行抓包，分析请求的URL、请求的方法、请求头、响应头等信息，详细操作请参考上章内容网络抓包。
程序3-1为Jsoup请求该网页的一种方式，这里使用get()方法执行请求，该方法返回一个Document类型的对象，使用Element类中的html()方法可以将Document类型的对象转化为String类型。

//程序3-1
public class JsoupConnectUrl {
    public static void main(String[] args) throws IOException {
        //通过Jsoup创建和url的连接
        Connection connection = Jsoup.connect("https://searchcustomerexperience.techtarget.com/info/news");
        //获取网页的Document对象
        Document document = connection.get();
        //输出HTML
        System.out.println(document.html());
    }
}

另外，也可以利用Jsoup先获取Response，再获取HTML内容，如程序3-2所示。在获取响应时，method(Method method)方法中的参数为具体的HTTP请求方法，这里一共有8种，详情请参考2.4 HTTP请求方法。 在程序3-2中，设置的请求方法为GET，程序输出的结果包括请求的URL、响应状态码、响应数据类型、响应状态信息以及HTML文件。如果将程序中的请求方法设置为HEAD，重新运行程序，则会发现无法输出HTML文件，但能获取到响应头信息。

//程序3-2
public class JsoupConnectUrl {
    public static void main(String[] args) throws IOException {
        //获取响应
        Connection.Response response = Jsoup.connect("https://searchcustomerexperience.techtarget.com/info/news").method(Connection.Method.GET).execute();
        URL url = response.url();
        //获取请求的URL
        System.out.println("请求的URL为:" + url);
        //获取响应状态码
        int statusCode = response.statusCode();
        System.out.println("响应状态码为:" + statusCode);
        //获取响应数据类型
        String contentType = response.contentType();
        System.out.println("响应类型为:" + contentType);
        //获取响应信息
        String statusMessage = response.statusMessage();
        System.out.println("响应信息为:" + statusMessage);
        //判断响应状态码是否为200
        if (statusCode == 200) {
            //通过这种方式可以获得响应的HTML文件
            String html = new String(response.bodyAsBytes(),"gbk");
            //获取html内容，但对应的是Document类型
            Document document = response.parse();
            //这里html和document数据是一样的，但document是经过格式化的
            System.out.println(document);
            System.out.println(html);
        }
    }
}