java利用jsoup包实现获取网页源代码功能

package com.obcy.util;

import org.apache.http.HttpEntity;
import org.apache.http.client.methods.CloseableHttpResponse;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClients;
import org.apache.http.util.EntityUtils;

import java.io.IOException;

public class GetHTML {

    public static String getHTML(String targetUrl){

        //1.确定url
        //String url = "https://picjumbo.com/free-stock-photos/love/";
        String url = targetUrl;
        //2.设置请求方式
        HttpGet hg = new HttpGet(url);
        hg.setHeader("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.132 Safari/537.36");
        //3.创建发送对象
        CloseableHttpClient httpClient = HttpClients.createDefault();
        //4.发送请求,获取响应对象
        //CloseableHttpResponse里面封装了响应头响应体响应行
        CloseableHttpResponse response = null;
        try {
            response = httpClient.execute(hg);
        } catch (IOException e) {
            e.printStackTrace();
        }


        String html="";
        //5.解析响应对象
        if (response.getStatusLine().getStatusCode() == 200) {
            //获取响应体
            HttpEntity entity = response.getEntity();
            try {
                //解码响应体(根据网页的编码解码)
                html = EntityUtils.toString(entity,"gbk");
            } catch (IOException e) {
                e.printStackTrace();
            }
        }
        try {
            //关闭发送对象
            httpClient.close();
        } catch (IOException e) {
            e.printStackTrace();
        }

        return html;
    }
}

 

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值