jdk11里针对HttpClient设置代理的账号密码的问题
做爬虫系统,如果用java实现,在jdk11之前能用的应该只有Apache的Httpclient组件了。
但是Apache的这个组件本身就比较老,更新也较慢。对于抓取现在很多https版本较高的网站时,总会碰到一些问题,而且难以解决。
还一个方面就是使用Apache的这个组件,需要写的代码量也比较大。其中的各种参数设置,如果不熟悉,会导致抓取的性能问题。
个人也是使用了3个多月后才熟悉了这个...
原创
2019-07-12 13:58:30 ·
833 阅读 ·
0 评论