java抓取网页保存的乱码问题解决

昨天用java抓取html文件，获取下来的html文件打开总是带有乱码，弄了半天搞定了。其实要避免乱码的一个好方法：没有必要去判断页面的编码方式，只要读取的数据按字节（而不是按字符）保存起来就可以了，后缀为html文件，然后用浏览器打开，肯定是正常的。

 

分析的原因：在网络上传送的数据是基于字节流的，我们要在屏幕上显示的时候要将字节流按某种字符集解码成String的形式，在java中就是将字节流按某种格式解码成Unicode，在将数据写入文件的时候，又要将String按某种格式编码成字节流，当两次的编码不一致的时候，就会造成乱码。所以在抓取网页进行保存的时候，可以直接将得到的字节流保存到文件中就可以了。

 

 

字节流与字符流主要的区别是他们的的处理方式：

字节流是最基本的，所有的InputStream和OutputStream的子类都是,主要用在处理二进制数据，它是按字节来处理的。

 

实际中很多的数据是文本，又提出了字符流的概念，它是按虚拟机的encode来处理，也就是要进行字符集的转化。

 

在实际开发中出现的乱码问题实际上都是在字符流和字节流之间转化不统一而造成的。

 

注：

对于我们常用的GBK中，英文是占用1个字节，中文是2个；
对于UTF-8，英文是1个，中文是3个；
对于Unicode，英文中文都是2个。

下面一段代码是用来抓取http://tomfish88.iteye.com/并保存到本地的java程序。

 

import java.io.FileOutputStream;

import java.io.IOException;

import java.io.InputStream;

import java.net.MalformedURLException;

import java.net.URL;

 

public class Test {

public static void main(String[] argc) {

URL url = null;

FileOutputStream fos = null;

InputStream is;

try {

for (int i = 0; i < 1; i++) {

url = new URL("http://tomfish88.iteye.com/");

byte bytes[] = new byte[1024 * 1000];

int index = 0;

is = url.openStream();

int count = is.read(bytes, index, 1024 * 100);

while (count != -1) {

index += count;

count = is.read(bytes, index, 1);

}

fos = new FileOutputStream("test.html");

System.out.println(index);

fos.write(bytes, 0, index);

is.close();

fos.close();

}

} catch (MalformedURLException e) {

e.printStackTrace();

} catch (IOException e) {

e.printStackTrace();

}

}

}