Jsoup爬取网页乱码编码格式gb2312转utf8

该项目涉及使用Jsoup从新浪财经爬取股票公告时遇到的乱码问题。网页编码为gb2312,而MongoDB存储默认为utf8。为了解决简体中文以外的字符乱码,通过编写程序进行统一的编码格式转换。
摘要由CSDN通过智能技术生成

最近做的一个项目需要爬取股票公告并存储于mongodb中用来显示,当我在用jsoup爬取新浪财经股票公告的时候,发现了乱码问题。网页链接如下http://vip.stock.finance.sina.com.cn/corp/view/vCB_AllBulletinDetail.php?stockid=600958&id=3735125,打开控制台可以看到新浪财经采用的是gb2312的编码方式,mongodb默认utf8,其实简体中文不做编码转换也是可以存储,但是例如繁体中文以及特殊字符就会出现乱码问题。于是写了段程序来统一编码格式,代码如下:

//获取公告
public String getAnnouncementFromSina(){
	String text = "";
	String url = "http://vip.stock.finance.sina.com.cn/corp/view/vCB_AllBulletinDetail.php?stockid=600958&id=3735125";
	try{
		Document doc = Jsoup.parse(new URL(url).openStream(), "GBK", url);
		Element element = doc.select("div#content").first().getElementsByTag("pre").first();
		
		//调用转换方法
		te
  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值