当爬虫遇到需要动态ip才能获取资源的时候如何解决?

因为有的网站是拦截相同的ip重复爬去网站中的资源，因此比较好的解决办法是利用手机频繁的去切换飞行模式来拿到切换ip的效果，但是缺点是频繁切换ip特别麻烦。然后我们组长给了我们解决方案就是伪装成浏览器去访问网页资源，因此只需要在http请求头加上头信息即可。

        1.
        httpConnection.setRequestProperty("User-Agent",
                "[Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.101 Safari/537.36]");
HttpGet httpget = new HttpGet(url);
        //浏览器标识 (操作系统标识; 加密等级标识; 浏览器语言) 渲染引擎标识 版本信息
        2.
        httpget.setHeader("User-Agent","Mozilla/5.0 (Linux; U; Android 2.3.6; zh-cn; GT-S5660 Build/GINGERBREAD) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1 MicroMessenger/4.5.255");