使用代理服务器来获取网上的资源

  今天在学到关于如何使用代理服务器来获取网上的资源这个程序时发现了两个问题：一是每次跟换代理服务器时非常麻烦而且都是需要更改源代码并重新编译运行，二是如果你从网上下载的是一个网页，比如"http://www.baidu.com/index.html"，你会发现文件中保存的全部是乱码，无法用浏览器打开。下面是解决问题的过程

        第一个问题，很简单，我直接想到了使用配置文件，这个时候我查找到了Properties类（其实记忆力忘记是Property还是Properties了，还好有文档），通过查找里面的方法成功的实现了使用配置文件来修改代理服务器的ip、端口、目标网址。不过我随之想到了另外一个问题，代理的IP和端口其实是经常变化的，很有可能今天能用，明天就失效了，所以我在想是否可以从代理网址上抓取网页，通过字符串匹配来找到网页上存放的IP、端口，然后使用ProxySelector来自动选择这些代理服务器，从而实现，无需手动更换代理服务器，避免在运行的程序时代理中断的问题。这个代码由于时间的关系，我暂时没有实现。

        第二个问题，其实我想多了，原先在想问题的原因肯定是字符集的问题，在读取数据并写入输入流的时候没有设置好字符集，但是在如何设置字符集的时候忘记了，从FileInputStream、DataInputSteam、ByteArrayInputStream一个个文档，后来发现书上给的源程序使用的Scanner类，这个类读取的字节流，如果你在这个类的基础上想实现字符集的设置很困难，所以我想到了应该使用字符流，第一个想到的就是BufferedReader，然后一查API，里面还是没有设置字符集的方法，后来发现字符集其实是在从字节流到字符流的过程中设置，所以的解决方法就是

[java]  view plain copy

1. BufferedReader br = new BufferedReader(new InputStreamReader(conn.getInputStream(), "UTF-8"));  

        回顾了一下解决问题的过程，发现自己对文档的熟悉程度还不够，解决问题的关键点在于--字符集是作用的地方就是从字节流向字符流转换的过程中。下面贴上完整的代码。

[html]  view plain copy

1. package org.xn.chapter17.demo;  
2.   
3. import java.io.BufferedReader;  
4. import java.io.FileInputStream;  
5. import java.io.FileOutputStream;  
6. import java.io.IOException;  
7. import java.io.InputStreamReader;  
8. import java.io.PrintStream;  
9. import java.net.InetSocketAddress;  
10. import java.net.MalformedURLException;  
11. import java.net.Proxy;  
12. import java.net.URL;  
13. import java.net.URLConnection;  
14. import java.util.Properties;  
15.   
16. public class ProxyPropertyTest {  
17.     //下面是定义的代理服务器的地址和端口  
18.     //并且定义个配置文件，这里使用的一个配置文件来做的  
19.     String PROXY_ADDR;  
20.     int PROXY_PORT;  
21.     String urlStr;  
22.     Properties iniProxy = new Properties();  
23.       
24.     public void init() throws IOException, MalformedURLException {  
25.         iniProxy.load(new FileInputStream("ini/proxy.ini"));  
26.         //从配置文件中读取数据，为各个变量赋值  
27.         PROXY_ADDR = iniProxy.getProperty("PROXY_ADDR");  
28.         PROXY_PORT = Integer.parseInt(iniProxy.getProperty("PROXY_PORT"));   
29.         urlStr = iniProxy.getProperty("urlStr");  
30.         URL url = new URL(urlStr);  
31.         //定义代理服务器，代理服务器由：协议、IP、端口号组成  
32.         Proxy pro = new Proxy(Proxy.Type.HTTP, new InetSocketAddress(PROXY_ADDR, PROXY_PORT));  
33.         //获取URLConnection对象，这里就需要传入一个Proxy类的实例  
34.         URLConnection conn = url.openConnection(pro);  
35.         //设置超时时长  
36.         conn.setConnectTimeout(3000);  
37.         try (  
38.             PrintStream ps = new PrintStream(new FileOutputStream("index.html"));  
39.             BufferedReader br = new BufferedReader(new InputStreamReader(conn.getInputStream(), "UTF-8"));  
40.         ){  
41.             String line;  
42.             while ((line = br.readLine()) != null) {  
43.                 System.out.println(line);  
44.                 ps.println(line);  
45.             }  
46.         } catch (IOException ioe) {  
47.             ioe.printStackTrace();  
48.         }  
49.     }  
50.       
51.     public static void main(String[] args) throws Exception, MalformedURLException {  
52.         new ProxyPropertyTest().init();  
53.     }  
54. }  

————————下面这段话是文章放表后的第二天所添加

        真的应了我上面那句话，对文档的属性程度还不够，原来在Scanner里面就有一个设置字符集的构造方法，只不过它的API文档上的说明没有写字符集这三个字，而我也没有点到下面的详细信息区查看，我在此纠正，使用Scanner类也是可以的，只需要使用如下的构造方法即可：

[html]  view plain copy

1. Scanner scan = new Scanner(conn.getInputStream(), "UTF-8");  

版权声明：本文为博主原创文章，未经博主允许不得转载。