一、前言
好久没有写博客,趁着难得的空闲时间更新一波。前面几期讲到的主要包括了爬虫开发中的页面获取、页面解析两个方面的知识,套用二八原则,可以解决80%的工作。但是其他的20%的工作,就可能要用到我们80%的时间和精力去研究。这个就是我接下去几期要讲的。这期主要是讲一些实际场景下可能需要用到的httpClient设置,大都是我在实际开发中需要用到的,都算是一些小知识点,但是还是希望能能够记录总结一下。
接下去的博文都会标注写文章时参考的资料,以便参考。(感觉跟写论文一样,2333~)
二、代理
代理是爬虫技术中很重要的一项。因为有一些网站会有相应的安全策略。例如检测一段时间内,某个IP地址的访问次数,如果访问频率过高,说明你不是正常访客,然后禁止你这个IP的访问。
应对这种机制有两种手段:
- 放慢抓取速度,减小对目标网站的访问压力
- 设置代理IP,实现高频率抓取,但是这需要多个稳定的代理IP。
代理ip资源可以自己去写爬虫去爬代理网站,去验证可用性,当然这种方式不稳定,而且可用的ip资源并不是很多。你也可以搭建自己的代理服务器。还有些爬虫每天的抓取任务可能需要消耗10多万的ip资源,这个时候一般是需要使用一些商业的代理ip商的服务了。
当然在本文中,不会涉及如何搭建代理服务器和如何获取ip资源。主要介绍如何在httpClient中配置ip。如果以后有机会涉及到,再写文章吧。
三、实战
由于httpClient十分灵活,设置代理也有很多种方式。
3.1 设置httpClient
- 最简单的一种:
// proxyHost -- 代理ip; proxyPort -- 端口号
HttpHost proxy = new HttpHost("proxyHost", proxyPort, "HTTP");
CloseableHttpClient httpclient = HttpClients.createDefault();
HttpGet get = new HttpGet(url);
CloseableHttpResponse response = httpclie