Java爬虫(七)- httpClient进阶: https 和 证书认证(讲故事篇)

本文以故事形式记录了使用Java爬虫遇到的HTTPS和证书认证问题,包括错误1(SSLv2Hello协议不支持)和错误2(SSLHandshake阶段的证书认证失败)。解决方案涉及强制使用特定SSL协议、下载并转换证书、设置SSLContext等步骤,同时也提到了其他常见的HTTPS访问错误及其处理方法。
摘要由CSDN通过智能技术生成

一、前言

本篇风格会偏向讲故事,来记录整个发现问题,解决问题的过程。具体的知识点总结放在后一篇。

前段阵子被分配了一个工单,要求抓取另一个险企B的数据。想着应该不会比上一家A麻烦了,险企A抓取数据过程中有几次请求是跨域的,很多数据都是由ajax动态请求到的,要分析js代码,模拟请求。

稍微观察了一下险企B的页面源代码,发现所有操作除了表单提交,其他都是get请求。而且模拟登录时不需要输验证码。美滋滋。。就是有2点麻烦的地方:

  • 险企B是通过专线访问的,只有借助代理公司的网络才能访问,公司在代理公司那放了台电脑,然后我在公司远程连接那台电脑进行开发的。操作会有延时,有点卡。
  • 险企B的网站看起来很古老,只支持ie8及以下的浏览器访问,chrome、火狐啥的就更打不开了。所以抓包都靠fiddler了,页面解析元素定位就只能靠旧版本的ie开发工具,

好吧,虽然不便,但是还是不怎么影响开发过程。

然后在一开始,访问第一个登录页面的时候我就被卡住了。我用原来的工具类发了一个get请求去获取登录页面,结果报错了。

二、错误1

debug:
    Unsupported record version SSLv2Hello
    javax.net.ssl.SSLException: Unsupported record version SSLv2Hello
    at sun.security.ssl.InputRecord.readV3Record(Unknown Source)
    at sun.security.ssl.InputRecord.read(Unknown Source)
    at sun.security.ssl.SSLSocketImpl.readRecord(Unknown Source)
    at sun.security.ssl.SSLSocketImpl.performInitialHandshake(Unknown Source)
    at sun.security.ssl.SSLSocketImpl.startHandshake(Unknown Source)
    at sun.security.ssl.SSLSocketImpl.startHandshake(Unknown Source)
    at org.apache.http.conn.ssl.SSLConnectionSocketFactory.createLayeredSocket(SSLConnectionSocketFactory.java:275)
    at org.apache.http.conn.ssl.SSLConnectionSocketFactory.connectSocket(SSLConnectionSocketFactory.java:254)
    at org.apache.http.impl.conn.HttpClientConnectionOperator.connect(HttpClientConnectionOperator.java:123)
    at org.apache.http.impl.conn.PoolingHttpClientConnectionManager.connect(PoolingHttpClientConnectionManager.java:318)
    at org.apache.http.impl.execchain.MainClientExec.establishRoute(MainClientExec.java:363)
    at org.apache.http.impl.execchain.MainClientExec.execute(MainClientExec.java:219)
    at org.apache.http.impl.execchain.Protoc
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值