Java网页抓取网页内容时,乱码问题的解决

有时我们抓取网页的内容时,出现乱码,我们可以使用两种方式,去解新这个问题。

一种是:

public static String clawer(String myurl) {
		int i = 0;
		StringBuffer sb = new StringBuffer("");
		URL url;
		try {
			url = new URL(myurl);
			BufferedReader br = new BufferedReader(new InputStreamReader(url.openStream(), "gbk"));
			String s = "";
			while ((s = br.readLine()) != null) {
				i++;
				
				sb.append(s + "\r\n");
			}
		} catch (Exception e) {
			e.printStackTrace();
		}
		
		System.out.println(sb.toString());
		
		return sb.toString();

	}

里面写明是gbk,或utf-8,这个跟网页的编码方式有关,比如这个网页的头为以下方式的话,

<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=GBK">
<title>当周办件情况一览表</title>
<link href='./css/default.css' rel='stylesheet' type='text/css'>
<LINK href='../images/mt_style.css' type='text/css' rel='stylesheet'>
<script language="javascript" src="../../Common/Calendar/Include/Calendar.js"></script>
<script language="javascript" src="../../Common/Include/approve.js"></script>
</head>
................................................
............................................

说明是使用GBK的编码方式。


方式二,在代码中一个一个去解析,这个不太方便。使用的时候没有第一种方式好。如下所示:

	                  String str = new String(s.getBytes("ISO8859-1"),"UTF-8");    
			  String name = new String(nameElement.text().getBytes("GBK"),"ISO8859-1");  
		          System.out.println(name);

方式一用法比较好,方式二的情况要多次使用才行。

  • 2
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值