java爬虫框架 jsoup的使用

java爬虫框架 jsoup的使用

Jsoup下载及官方文档

Jsoup下载地址：https://jsoup.org/download

官方文档地址：https://jsoup.org/apidocs/overview-summary.html

Jsoup简单用法

Jsoup通过链接解析

get请求

 try {
            Document document = Jsoup.connect("https://www.baidu.com").timeout(1000).get();
        } catch (IOException e) {
            e.printStackTrace();
        }

post请求

try {
    Document document = Jsoup.connect("https://www.baidu.com").timeout(1000).data("","").post();
} catch (IOException e) {
    e.printStackTrace();
}

post请求通过data传递参数

通过connect设置网址

通过timeout设置超时时间

通过userAgent设置浏览器标识

Jsoup解析html

Document document = Jsoup.parse("html");

通过parse的方法可以直接解析一个html文件