爬虫
有灯就可以编程
有灯就有人,有电脑就可以编程。。。
展开
-
HttpClient爬取网站基本使用
场景,使用HttpClient技术,爬取指定网站的数据。一、构建HttpClient连接(支持Http和Https请求)public CloseableHttpClient createHttpClient() { SocketConfig socketConfig = SocketConfig.custom() .setSoKeepAli...原创 2019-08-09 16:39:28 · 861 阅读 · 0 评论 -
java.net.SocketException: Connection reset 异常之爬虫场景排查解决
场景:爬虫微服务爬取某一网站内容,经测试,已通过,并在多家客户部署,但是其中一家出现了该问题。排查过程:首先,因为在本地和其它客户那里,都是正常使用,首先排除掉了代码问题。然后,ping 域名,telnet端口测试,因为是https的请求,所以telnet 域名 443,测试发现,ping域名能通,443端口不通,于是打开443端口,再次测试,还是同样的异常,这个时候就陷入沉思了。...原创 2019-09-18 09:15:19 · 1553 阅读 · 0 评论