JAVA获取指定网页源代码,并将其写入本地文件中

最近有一个需求,就是需要将其他网站上的内容保存到本地。该网站地址不不变,内容实时更新。

package com.sam.springTest;

import java.io.BufferedReader;
import java.io.FileWriter;
import java.io.IOException;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.net.MalformedURLException;
import java.net.URL;
/**
 * 通过URL读取页面内容
 * */

public class demo {

    public static void main(String[] args){


        try {
            //创建一个URL实例
            URL url = new URL("http://wxcx.henangis.com/wd_msg/wd_tongxing_info.aspx");

            try {
                //通过URL的openStrean方法获取URL对象所表示的自愿字节输入流
                InputStream is = url.openStream();
                InputStreamReader isr = new InputStreamReader(is,"utf-8");

                //为字符输入流添加缓冲
                BufferedReader br = new BufferedReader(isr);
                String data = br.readLine();//读取数据
                
                
                
              //1.创建字符输出流对象  这个地方如果本地没有这个文件会报找不到系统路径,可以让其自动创建
        		FileWriter fw = new FileWriter("C:/1.html");
                
                
                while (data!=null){//循环读取数据
                    System.out.println(data);//输出数据
                    data = br.readLine();
                    //写入文件的时候如果data为空会报错
                    if (data != null) {

                    	if(data.indexOf("ueditor")>0) {
                    		String s="http://wxcx.henangis.com";
                	        StringBuffer sb = new StringBuffer(data);
                	        data = sb.insert(data.indexOf("ueditor")-1,s).toString();
                	        
                    	}
                    	//换行
                    	data+="\r\n";
                    	//2.写入数据
                    	fw.flush();//刷新流
                    	fw.write(data);//写入字符串
					}
                }
                br.close();
                isr.close();
                is.close();
              //3.关闭流
        		fw.close();
            } catch (IOException e) {
                e.printStackTrace();
            }
        } catch (MalformedURLException e) {
            e.printStackTrace();
        }
    }
}//这样就能获取该页面的html代码了
	
	
	

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值