在使用jsoup爬取数据时报SSL错误

报错信息

javax.net.ssl.SSLHandshakeException: sun.security.validator.ValidatorException: PKIX path building failed: sun.security.provider.certpath.SunCertPathBuilderException: unable to find valid certification path to requested target
	at sun.security.ssl.Alerts.getSSLException(Alerts.java:192)
	at sun.security.ssl.SSLSocketImpl.fatal(SSLSocketImpl.java:1959)
	at sun.security.ssl.Handshaker.fatalSE(Handshaker.java:302)

这个错误通常表示 SSL 握手失败,原因是由于证书验证问题导致。在 SSL 握手期间,客户端会验证服务器端的证书是否可信。如果证书无法验证或者未找到与之匹配的有效证书路径,就会抛出该异常。

出现这个异常的原因可能有以下几种情况:

  1. 服务器端的 SSL 证书没有被公认的证书颁发机构(CA)所信任。
  2. 客户端缺少根证书或中间证书,导致无法建立有效证书路径。
  3. HTTPS 请求被代理服务器拦截,产生了证书问题。

我的解决方法

在使用 Jsoup 进行 HTTP 请求时禁用 SSL 证书验证,可以通过以下步骤实现:

  1. 创建一个自定义的 TrustManager 类,用于忽略对证书的验证,示例代码如下:
  2. package org.jeecg.modules.pachon.HtmlPachon.entity;
    
    import javax.net.ssl.X509TrustManager;
    import java.security.cert.CertificateException;
    import java.security.cert.X509Certificate;
    
    public class TrustAllCertManager implements X509TrustManager {
    
        @Override
        public void checkClientTrusted(X509Certificate[] x509Certificates, String s) throws CertificateException {
    
        }
    
        @Override
        public void checkServerTrusted(X509Certificate[] x509Certificates, String s) throws CertificateException {
    
        }
    
        @Override
        public X509Certificate[] getAcceptedIssuers() {
            return null;
        }
    }
    
  3.   在发送请求之前,通过 TrustAllCertManager 类创建一个自定义的 SSLContext 对象,并将其应用于 HttpsURLConnection 类,示例代码如下
  4. public void rawDataHomePage()  {
            // 创建自定义 TrustManager
            TrustManager[] trustManagers = new TrustManager[]{new TrustAllCertManager()};
    
            // 获取默认的 SSLContext
            SSLContext sslContext = null;
            try {
                sslContext = SSLContext.getInstance("SSL");
                sslContext.init(null, trustManagers, new java.security.SecureRandom());
            } catch (NoSuchAlgorithmException | KeyManagementException e) {
                e.printStackTrace();
            }
            // 应用自定义的 SSLContext
            HttpsURLConnection.setDefaultSSLSocketFactory(sslContext.getSocketFactory());
            try {
                Connection.Response response = Jsoup.connect("http://data.stats.gov.cn/easyquery.htm?m=QueryData&dbcode=fsyd&rowcode=zb&colcode=sj&wds=%5B%7B%22wdcode%22%3A%22reg%22%2C%22valuecode%22%3A%22110000%22%7D%5D&dfwds=%5B%7B%22wdcode%22%3A%22zb%22%2C%22valuecode%22%3A%22A030102%22%7D%5D&k1=1692174996701&h=1")
                        .userAgent("Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/111.0.0.0 Safari/537.36 Edg/111.0.1661.54")
                        .ignoreContentType(true)
                        .execute();
    
                String body = response.body();
                JSONObject jsonObject = JSONObject.parseObject(body);
            } catch (IOException e) {
                e.printStackTrace();
            }

    通过上述方法,你可以在使用 Jsoup 发送请求时禁用 SSL 证书验证。请注意,在禁用证书验证时,存在安全风险,请仅在开发和测试环境下使用,并确保在生产环境中启用证书验证。

    希望这些信息能够帮助到你!如果还有其他问题,请随时提问。

  • 1
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值