webmagic 下载https网页

一、增加对HTTPS协议的支持

出现异常后，通过 Google 搜索了一下，找到了 WebMagic 作者黄大的解决方式，详见 Https下无法抓取只支持TLS1.2的站点

于是按照黄大说的方式来做

1. 首先复制源码中的 HttpClientGenerator 与 HttpClientDownloader 到自己的项目中。

2. 修改 HttpClientGenerator 的代码，只需要修改 buildSSLConnectionSocketFactory 这个方法为如下即可。

   1 2 3 4 5 6 7 8 9 10 11 12 13 14

   ... private SSLConnectionSocketFactory buildSSLConnectionSocketFactory() { try { return new SSLConnectionSocketFactory(createIgnoreVerifySSL(), new String[]{"SSLv3", "TLSv1", "TLSv1.1", "TLSv1.2"}, null, new DefaultHostnameVerifier()); // 优先绕过安全证书 } catch (KeyManagementException e) { logger.error("ssl connection fail", e); } catch (NoSuchAlgorithmException e) {