nutch+mysql gb2312网页源代码中文乱码

最新推荐文章于 2021-01-28 09:34:58 发布

古韦

最新推荐文章于 2021-01-28 09:34:58 发布

阅读量1.3k

点赞数

CC 4.0 BY-SA版权

分类专栏： Nutch 文章标签： nutch mysql gb2312 utf-8 中文乱码

本文链接：https://blog.csdn.net/hwwn2009/article/details/41960043

Nutch 专栏收录该内容

1 篇文章

订阅专栏

本文介绍了一种解决从MySQL数据库中读取GB2312编码网页源代码出现乱码的方法。通过使用Java的getBytes方法读取字节，再用gb2312解码，成功解决了中文乱码问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

问题描述：

将nutch爬的网页源代码存在mysql中，网页编码为gb2312的网页中文乱码，其他编码暂未发现问题。因为nutch对爬下的网页源代码content不作任何处理，仅仅保存，而我的mysql编码设置的为utf-8，所以会显示乱码。

现在需要处理网页源代码，取出指定数据，那么java程序如何将gb2312中文乱码的网页源代码转化为非乱码。

解决：

其实采用ResultSet的getBytes方法即可。

public void getResoucePage() throws Exception{
		String sql = "select * from webpage";
		ResultSet rs = stmtSelect.executeQuery(sql);
		while(rs.next()){
			byte[] pageByte = rs.getBytes("content");
			String pageString = new  String(pageByte, "gb2312");
			getPageInfo(pageString);
		}
		rs.close();
		stmtSelect.close();
		conn.close();
	}

说明：采用字节读取网页源代码，再指定编码为gb2312解码即可得到非乱码的网页源代码，剩下想怎么处理就怎么处理了。

（转载请注明，更多详见：http://blog.csdn.net/hwwn2009/article/details/41960043）