Java通过HttpProxy实现穿越

最新推荐文章于 2024-09-10 18:36:16 发布

打怪的蚂蚁

最新推荐文章于 2024-09-10 18:36:16 发布

阅读量7k

点赞数

分类专栏：数据爬虫/处理

数据爬虫/处理专栏收录该内容

7 篇文章 0 订阅

订阅专栏

需求描述

在正常的项目开发需求中，连接远程服务器的场景一般有二：

1 自家实现的http服务器，api接口都已经约定好；

2 开发平台服务，通常如新浪、百度云等平台提供的restful接口；

以上的两种场景通过原生的URLConnection或是apache提供的httpclient工具包都可以方便的实现调用。

然而，第三种场景是需要连接国外的开放服务，如google、twitter、tumblr等开放API接口。

在伟大的gfw关怀下，我们被告知不要随便和陌生人说话...

好吧，接下来让我们开始实现基于proxy的穿越吧！

准备工作

1 http代理服务器

建议花点银子买个稳定的VPN，带http代理的那种。

2 外网访问测试

可以用chrome switchyOmega插件测试一把，不行直接设置IE系统代理

准备完毕，可以开始开发了

设计分析

代理连接实现的关键步骤：

一、设置代理服务器地址端口

方式一：Java支持以System.setProperty的方式设置http代理及端口，如下：

[java]view plain copy 
     
       
 System.setProperty("http.proxySet", "true");  
 System.setProperty("http.proxyHost", proxyHost);  
 System.setProperty("http.proxyPort", "" + proxyPort);  
    
 // 针对https也开启代理  
 System.setProperty("https.proxyHost", proxyHost);  
 System.setProperty("https.proxyPort", "" + proxyPort);  

关于Java属性的详细设置可参考： http://docs.oracle.com/javase/6/docs/technotes/guides/net/properties.html

方式二：使用Proxy对象，在建立连接时注入到URLConnection即可：

[java]view plain copy 
        
 // 初始化proxy对象  
 Proxy proxy = new Proxy(Proxy.Type.HTTP, new InetSocketAddress(proxyHost, proxyPort));  
    
 // 创建连接  
 URL u = new URL(url);  
 URLConnection conn = u.openConnection(proxy);  

关于两种方式的比较

第一种方式更值得推荐，当你采用基于URLConnection封装实现的类库时，采用setProperty的方式则不需要动里面的代码，绿色轻便。

二、实现用户密码校验

方式一：将校验信息写入http头，将用户名密码进行base64编码之后设置Proxy-Authorization头：

[java]view plain copy 
       
 String headerKey = "Proxy-Authorization";  
 String encoded = new String(Base64.encodeBase64((new String(proxyUser + ":" + proxyPass).getBytes())));  
 String headerValue = "Basic " + encoded;  
 conn.setRequestProperty(headerKey, headerValue);  

不少资料会推荐这样的方式，但经过测试，该方式在https的需求场景下无法正常工作！

方式二：实现Authenticator接口，并注入为全局验证器：

[java]view plain copy 
        
 public static class MyAuthenticator extends Authenticator {  
     String userName;  
     String password;  
    
 public MyAuthenticator (String userName, String password) {  
     this.userName = userName;  
     this.password = password;  
 }  
    
 /** 
 * 当需要使用密码校验时自动触发 
 */  
 @Override  
 protected PasswordAuthentication getPasswordAuthentication() {  
     return new PasswordAuthentication(userName, password.toCharArray());  
 }  
 }  

在执行连接之前注入校验实例：

[java]view plain copy 
        
 MyAuthenticator auth = new MyAuthenticator(proxyUser, proxyPass);  
 Authenticator.setDefault(auth);  

实例代码

入口类

[java]view plain copy 
    
 /** 
  * 网络代理测试 
  *  
  * <pre> 
  * 设置代理主机及端口：系统变量(https 需同步设置) 
  * 设置代理验证方式：全局代理对象 
  *  
  *  
  * https链接错误： 
  * Unable to tunnel through proxy. Proxy returns "HTTP/1.0 407 Proxy Authentication Required" 
  * 使用全局代理验证解决 
  *  
  * </pre> 
  *  
  * @author tzz 
  * @createDate 2015年7月23日 
  *  
  */  
 public class ProxyTest {  
     private static String proxyHost = "xxx.xxxxx.com";  
     private static int proxyPort = 8080;  
     private static String proxyUser = "user";  
     private static String proxyPass = "pass";  
     public static void main(String[] args) {  
         String url = "https://www.google.com/";  
         String content = doProxy(url);  
         System.out.println("Result :===================\n " + content);  
     }  
     /** 
      * 通过系统变量方式实现代理 
      *  
      * @param url 
      * @return 
      */  
     public static String doProxy(String url) {  
         // 设置系统变量  
   
         System.setProperty("http.proxySet", "true");  
         System.setProperty("http.proxyHost", proxyHost);  
         System.setProperty("http.proxyPort", "" + proxyPort);  
         // 针对https也开启代理  
         System.setProperty("https.proxyHost", proxyHost);  
         System.setProperty("https.proxyPort", "" + proxyPort);  
         // 设置默认校验器  
         setDefaultAuthentication();  
   
         //开始请求  
         try {  
             URL u = new URL(url);  
             URLConnection conn = u.openConnection();  
             HttpsURLConnection httpsCon = (HttpsURLConnection) conn;  
             httpsCon.setFollowRedirects(true);  
   
             String encoding = conn.getContentEncoding();  
             if (StringUtils.isEmpty(encoding)) {  
                 encoding = "UTF-8";  
             }  
             InputStream is = conn.getInputStream();  
             String content = IOUtils.toString(is, encoding);  
             return content;  
         } catch (Exception e) {  
             e.printStackTrace();  
             return e.getMessage();  
         }  
     }  
   
     /** 
      * 设置全局校验器对象 
      */  
     public static void setDefaultAuthentication() {  
         BasicAuthenticator auth = new BasicAuthenticator(proxyUser, proxyPass);  
         Authenticator.setDefault(auth);  
     }  
 }  

校验器

[java]view plain copy 
    
 /** 
  * 实现sun.net的代理验证 
  *  
  * @author tzz 
  * @createDate 2015年7月23日 
  *  
  */  
 public static class BasicAuthenticator extends Authenticator {  
     String userName;  
     String password;  
     public BasicAuthenticator(String userName, String password) {  
         this.userName = userName;  
         this.password = password;  
     }  
     /** 
      * Called when password authorization is needed. Subclasses should override the default implementation, which returns null. 
      *  
      * @return The PasswordAuthentication collected from the user, or null if none is provided. 
      */  
     @Override  
     protected PasswordAuthentication getPasswordAuthentication() {  
         //System.out.println("DEBUG === use global authentication of password");  
         return new PasswordAuthentication(userName, password.toCharArray());  
     }  
 }  