解决WebMagic抓HTTPS时出现SSLException

最新推荐文章于 2024-05-23 15:25:57 发布
最新推荐文章于 2024-05-23 15:25:57 发布
阅读量516 收藏 2
点赞数 1
文章标签： 运维 爬虫 java
原文链接：http://www.cnblogs.com/vcmq/p/9484418.html
版权
本文介绍了在使用WebMagic抓取HTTPS网站时遇到的SSLException问题及两种解决方案：一是修改HttpClientGenerator和HttpClientDownloader处理TLS1.2；二是利用Nginx反向代理HTTP到HTTPS。
摘要由CSDN通过智能技术生成

访问我的博客

前言

在今年二月份在项目中引入了 WebMagic 技术，用来抓取合作方的书籍，详见之前文章：WebMagic之爬虫监控，这两天新接入了一个合作商，对方接口采取的是 HTTPS 协议，而以前合作商的接口全都是 HTTP 的，在接入这家合作商的时候，发现了问题，只要是 HTTPS 的 URL 全部无法爬取。

一、问题复现

在 WebMagic-core 包中，us.codecraft.webmagic.processor.example.GithubRepoPageProcessor 这个包下面是作者放的示例代码，拷贝这个类代码到新建的类中，右键运行这个类，运行后控制台报出错误：
[WARN ] 2018-05-12 13:28:11,828 download page https://github.com/code4craft error [us.codecraft.webmagic.downloader.HttpClientDownloader.download(HttpClientDownloader.java:91)]

进入这个类，定位到 HttpClientDownloader 源代码 85 行




                

        

        




    




        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        

    

      

        

            

              
                
                  weixin_33998125
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                    1
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    2
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                    0
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      










                



	

		

			

				
					
webmagic_V0.7.3(修复https请求)

				
			

			

				

					08-03
				

			

		

		

			
				
webmagic_V0.7.3(修复https请求报错),本人已经把源码重新编译打包了，如果自己懒得编译可以用我打包好的

			
		

	



                

              
                



	

		

			

				
					
webmagic 抓取带有https的网站，抛出的异常javax.net.ssl.SSLHandshakeException: Received fatal alert: handshake_fail

				
			

			

				

					weixin_43892453的博客
				

				

					05-09
					
					1629
					
				

			

		

		

			
				
webmagic 抓取带有https的网站，抛出的异常javax.net.ssl.SSLHandshakeException: Received fatal alert: handshake_failure解决思路
解决思路
在网上找了几种方法，没有解决问题。


方法一（试了没解决）
jdk中jce的安全机制导致报的错，按照大家的方式，要去oracle官网下载对应的jce包替换jdk中的jce包...

			
		

	



                


  
              

                


	

		

			

				
					
解决webMagic0.7.3版本出现protocol_version问题。

					
最新发布

				
			

			

				

					m0_60898924的博客
				

				

					05-23
					
					591
					
				

			

		

		

			
				
解决webMagic0.7.3版本出现javax.net.ssl.SSLHandshakeException: Received fatal alert: protocol_version问题。

			
		

	





	

		

			

				
					
webmagic 爬取https的网站抛avax.net.ssl.SSLHandshakeException异常

				
			

			

				

					shawn0wang的博客
				

				

					04-20
					
					749
					
				

			

		

		

			
				
webmagic

			
		

	



		

			
		



	

		

			

				
					
关于webmagic爬取Https网站报错的解决办法

				
			

			

				

					天风浪浪 海山苍苍
				

				

					07-11
					
					1953
					
				

			

		

		

			
				
目前webmagic最新版是0.7.3版本，在爬取只支持TLS1.2的https站点会报错

javax.net.ssl.SSLException: Received fatal alert: protocol_version
	at sun.security.ssl.Alerts.getSSLException(Alerts.java:208)
	at sun.security.ssl.Ale...

			
		

	





	

		

			

				
					
解决webMagic0.7.3 出现javax.net.ssl.SSLException: Received fatal alert: protocol_version的问题-附件资源

				
			

			

				

					03-02
				

			

		

		

			
				
解决webMagic0.7.3 出现javax.net.ssl.SSLException: Received fatal alert: protocol_version的问题-附件资源

			
		

	





	

		

			

				
					
javax.net.ssl.SSLException: java.lang.RuntimeException: Could not generate DH keypair 解决方法总结

				
			

			

				

					08-25
				

			

		

		

			
				
然而，当你遇到“javax.net.ssl.SSLException: java.lang.RuntimeException: Could not generate DH keypair”的错误时，这意味着在建立SSL/TLS连接时，Diffie-Hellman（DH）密钥交换算法遇到了问题。DH是一种非对称...

			
		

	





	

		

			

				
					
Ubuntu/Deepin下Python3.8出现SSL错误的解决方案

				
			

			

				

					01-08
				

			

		

		

			
				
在使用pip3的时候，错误信息如下...而且网上的某些方法用./configure –with-ssl这条命令是无效的，下面给出解决问题的方案。 出现这种错误可以在Modules/Setup中，Ctrl + F查找字符串SSL， 将找到的第一个SSL下面的命

			
		

	





	

		

			

				
					
Android 7.0+抓包https突破ssl-pinning方案抓包插件.zip

				
			

			

				

					03-17
				

			

		

		

			
				
Android 7.0+ 抓包https方案，突破ssl-pinning  使用方法：https://blog.csdn.net/u014644574/article/details/104930877

			
		

	





	

		

			

				
					
webmagic修复HTTPS下无法抓取只支持TLSv1.2的站点的bug重新打包jar

				
			

			

				

					04-05
				

			

		

		

			
				
webmagic爬虫修复HTTPS下无法抓取只支持TLSv1.2的站点的bug后重新打包的jar，用这个替换原jar，在爬取HTTPS站点后就不会报错了。

			
		

	





	

		

			

				
					
webmagic 报错javax.net.ssl.SSLHandshakeException

				
			

			

				

					sjxgghg的博客
				

				

					02-17
					
					378
					
				

			

		

		

			
				
SSLHandshakeException:报错的原因是，jdk1.8版本问题导致SSL调用权限上有问题。webmagic 0.7.3版本，在爬取只支持 TLS1.2的 https站点会报错。作者说会在0.7.4版本发布修复错误，从maven仓库中将0.7.3改成0.7.4。

			
		

	





	

		

			

				
					
【已解决】Java爬虫抓HTTPS出现SSLException

				
			

			

				

					Junnix的博客
				

				

					04-09
					
					1870
					
				

			

		

		

			
				
【已解决】Java爬虫抓HTTPS出现SSLException
引言
近期想写一个Java爬虫并实现数据可视化功能的平台
所以想到了用Javamagic爬虫库爬数据，结果发现之前在Linux平台的可以运行的代码搬到本地电脑没法运行，试了很多种方法，最终解决了，解决方案如下：
一：正文
控制台报错语句：
[WARN ] 2018-05-12 13:28:11,828 download page https://github.com/code4craft error [us.codecraft.webmagic

			
		

	





	

		

			

				
					
解决webmagic访问报错javax.net.ssl.SSLException: Received fatal alert: protocol_version

					
热门推荐

				
			

			

				

					Good Luck
				

				

					07-16
					
					8万+
					
				

			

		

		

			
				
拷贝两个类：


package com.example.mindsa.webmagic.sslconfig;

import org.apache.commons.io.IOUtils;
import org.apache.http.HttpResponse;
import org.apache.http.client.methods.CloseableHttpResponse;
import org.apache.http.impl.client.CloseableHttpClient;
import 

			
		

	





	

		

			

				
					
解决webMagic0.7.3 出现javax.net.ssl.SSLException: Received fatal alert: protocol_version的问题

				
			

			

				

					马句
				

				

					06-17
					
					588
					
				

			

		

		

			
				
主要是目前webmagic最新版是0.7.3版本，在爬取只支持TLS1.2的https站点会报错，修改HttpClientGenerator中的buildSSLConnectionSocketFactory方法，


private SSLConnectionSocketFactory buildSSLConnectionSocketFactory() {
		try {
			//return new SSLConnectionSocketFactory(createIgnoreVerify...

			
		

	





	

		

			

				
					
关于Apache httpclient 请求的相关模式

				
			

			

				

					
				

				

					09-01
					
					224
					
				

			

		

		

			
				
原文出处：https://zhidao.baidu.com/question/713930427607680965.html  “Java中的httpclient4.5应该怎么使用” 备记一、所需要的jar包   httpclient-4.5.jar   httpcore-4.4.1.jar   httpmime-4.5.jar二、实例Java代码  package cn.tzz.apa...

			
		

	





	

		

			

				
					
十二、学习爬虫框架WebMagic（八）---访问超时、402等解决办法

				
			

			

				

					panchang199266的博客
				

				

					01-31
					
					6093
					
				

			

		

		

			
				
一、问题

备注：在前面一章我们提到，我们使用 redis 来实现去重和增量爬取，这是本篇文章的前提。

  在使用 webmagic 爬取小说网站时，由于网络或者访问过于频繁时，小说网站服务器会返回超时、402/400/502等错误，但是这些URL依然会被记录到redis中，这样就带来一个问题：我们在下次进行增量爬取时，这些URL不会再被访问（PS：去重的依据就是redis中有的，将不会再被爬取...

			
		

	





	

		

			

				
					
解决图片上传oss sdkjava.lang.ClassNotFoundException: org.apache.http.conn.ssl.DefaultHostnameVerifier

				
			

			

				

					卑以自牧，含章可贞；克己慎独，守心明性
				

				

					10-11
					
					1380
					
				

			

		

		

			
				
Servlet.service() for servlet 
[dispatcherServlet] in context 
with path [] threw exception 
[Handler dispatch failed; 
nested exception is java.lang.NoClassDefFoundError: 
org/apache/http/conn/ssl/DefaultHostnameVerifier] 
with root cause
org.apache.http.

			
		

	





	

		

			

				
					
尝试读取HttpResponse的内容时SSLException

				
			

			

				

					05-12
				

			

		

		

			
				
如果在读取HttpResponse的内容时遇到了SSLException，这可能是因为目标网站的SSL证书无效或不被信任，或者您的系统中缺少必要的根证书。您可以尝试以下方法解决这个问题：  1. 确认目标网站的SSL证书是否有效，并且...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值