JSOUP 抓取HTTPS/HTTP网页，校验问题

最新推荐文章于 2024-06-30 09:33:47 发布

置顶

月光下的猪

最新推荐文章于 2024-06-30 09:33:47 发布

阅读量6.5k

点赞数 2

分类专栏：分享学习文章标签： jsoup https ssl java 爬虫

本文链接：https://blog.csdn.net/shaochong047/article/details/79636142

版权

近日本人正在做一个小型的网络爬虫项目，用的就是经过分析，最终选择了jsoup来做页面分析工具，爬取数据。针对一般的http请求是不需要的校验的。但是https安全校验过总过不去。最后找到以下方法，终于成功。

让我们的站点信任所有站点，不需要引包，系统自带ssl证书校验，话不多数，贴代码。

/**
	 * 信任任何站点，实现https页面的正常访问
	 * 
	 */
	
	public static void trustEveryone() {
        try {  
            HttpsURLConnection.setDefaultHostnameVerifier(new HostnameVerifier() {
                public boolean verify(String hostname, SSLSession session) {
                    return true;  
                }
            });  
  
            SSLContext context = SSLContext.getInstance("TLS");  
            context.init(null, new X509TrustManager[] { new X509TrustManager() {
                public void checkClientTrusted(X509Certificate[] chain, String authType) throws CertificateException {
                }
  
                public void checkServerTrusted(X509Cert