Java——获取网页内容并在本地生成HTML文件

使用java.net包下的URL类，可以将一个网页(链接)封装成一个URL对象。 
URL对象有一个openStream()方法，使用该方法可以获取该网页的输入流，我们可以通过读取输入流的方式获得网页的内容，并通过输出流写入HTML文件中。

---

方式一：

使用此方法需要指定输入流和输出流的字符编码，否则可能会出现乱码

步骤： 
1. 通过URL对象的openStream()方法获得网页的字节输入流 
2. 将字节输入流转换成字符输入流 
3. 为字符输入流加缓冲区 
4. 定义一个字节输出流 
5. 将字节输出流转换成字符输出流 
6. 将读取到的数据写入文件 
7. 关闭流

public void way_1() throws Exception {
    InputStream inputStream;//接收字节输入流 InputStreamReader inputStreamReader;//将字节输入流转换成字符输入流 BufferedReader bufferedReader;//为字符输入流加缓冲 FileOutputStream fileOutputStream;//字节输出流 OutputStreamWriter outputStreamWriter;//将字节输出流转换成字符输出流 URL wangyi = new URL("http://www.163.com/"); inputStream = wangyi.openStream(); inputStreamReader = new InputStreamReader(inputStream, "gb2312"); bufferedReader = new BufferedReader(inputStreamReader); String s; File dest = new File("src/wangyi.html"); fileOutputStream = new FileOutputStream(dest); outputStreamWriter = new OutputStreamWriter(fileOutputStream, "gb2312"); while ((s = bufferedReader.readLine()) != null) { outputStreamWriter.write(s); } outputStreamWriter.close(); fileOutputStream.close(); bufferedReader.close(); inputStreamReader.close(); inputStream.close(); }

---

方式二：

使用此方法不需要指定输入流和输出流的字符编码(因为是通过字节的方式)

步骤： 
1. 通过URL对象的openStream()方法获得网页的字节输入流 
2. 为字节输入流加缓冲 
3. 创建字节输出流对象 
4. 为字节输出流加缓冲 
5. 读取数据，并写入HTML文件 
6. 关闭流

public void way_2() throws Exception{
    File dest = new File("src/wangyi2.html"); InputStream is;//接收字节输入流 FileOutputStream fos = new FileOutputStream(dest);//字节输出流 URL wangyi = new URL("http://www.163.com/"); is = wangyi.openStream(); BufferedInputStream bis = new BufferedInputStream(is);//为字节输入流加缓冲 BufferedOutputStream bos = new BufferedOutputStream(fos);//为字节输出流加缓冲 int length; byte[] bytes = new byte[1024*20]; while((length = bis.read(bytes, 0, bytes.length)) != -1){ fos.write(bytes, 0, length); } bos.close(); fos.close(); bis.close(); is.close(); }