Java的String不能处理中文utf-8编码

最新推荐文章于 2024-07-26 03:28:27 发布
最新推荐文章于 2024-07-26 03:28:27 发布
阅读量1.1w 收藏 2
点赞数 1
文章标签： java string utf-8 camus sequencefile
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/demo_zj/article/details/46692591
版权

Sequence File 文件格式支持文件分割，所以适合map-reduce作业。最近有一个项目，把kafka的protobuf数据写到hdfs，方便下游的离线作业做数据分析。

在kafka中，protobuf序列化成了byte数组（message就是byte数组）。这个时候在linkedin的camus（linkedin开源的一个把kafka数据写到hdfs 的工具）中配置作业把kafka message以sequence file的格式写到hdfs。Sequence file的key是org.apache.hadoop.io.LongWritable，value是org.apache.hadoop.io.Text。

很顺利，我们把数据写到了hdfs，然后我自己写一个pig udf去解析protobuf的数据。Pig本身有一个udf去读取sequencefile：org.apache.pig.piggybank.storage.SequenceFileLoader。因为存放的是Text，所以pig读取的时候就转成了chararray。然后我就遇到了如下的错误：

bad record, bad formatcom.google.protobuf.InvalidProtocolBufferException: While parsing a protocol message, the input ended unexpectedly in the middle of a field.  This could mean either than the input has been truncated or that an embedded message misreported its own length.</
最低0.47元/天 解锁文章
ahugeduck
关注
Java判断UTF-8串字符数量
爱在梦醒时分的博客
07-14 1062
前几天作业帮面试的一道编程题，题目要求，给定一个UTF-8编码的字符串(字符数组的形式)，返回该字符串的字符数量。 UTF-8编码介绍： UTF-8编码中一个字符的长度为1-6个字节，其中，该字符的长度在第一个字节（byte）的前1-6位有表示，具体如下： 有了以上参考资料大体就有思路了，那就是遍历字符数组统计每个字符的长度，然后将i+字符长度-1，判断字符长度的时候，直接将byte与二进制的0b...
java中文乱码改utf8没用_中文乱码问题（请问为啥为设置了字符编码为utf-8，但是username的时候还是乱码了）...
weixin_36051064的博客
02-24 629
pageEncoding="utf-8"%>主页用户登录request.setCharacterEncoding("utf-8");String username="";String password="";Cookie[] cookies = request.getCookies();if(cookies != null && cookies.length > 0){...
java字符串utf8化
最新发布
weixin_30954879的博客
07-26 79
字符串相关学习资料：https://edu.51cto.com/video/3832.htmlhttps://edu.51cto.com/video/4055.htmlJava字符串UTF-8化实现指南 作为一名经验丰富的开发者，我经常被问到如何将Java字符串转换为UTF-8编码格式。今天，我将通过这篇文章，向刚入行...
java utf8解析_java – 无法解析和显示从http请求中读取的非utf8字符
weixin_39827304的博客
02-24 242
您遇到的问题很可能是由于您在谷歌的http响应中读取的字符编码设置不正确造成的.你可以发布实际获取URL的代码并将其解析为JSON对象吗？举个例子,运行以下代码：public class Test1 {public static void main(String [] args) throws Exception {// just testing that the console can outp...
中文文本utf-8编码无法识别问题
张某文_Lambda的博客
04-23 4582
python写入文件时，使用encoding=‘utf-8’格式编码生成的csv文件中文乱码，如何解决？ 使用‘utf-8’编码写入了某个excel/csv等表格文件，却发现直接使用excel应用程序打开时无法看懂，出现中文乱码得情况。不过，用记事本、notepad++等普通的文本编译器却可读。
string转utf8后解决TTS识别中文的问题
阳光柠檬_的技术笔记
06-23 1973
今天遇到string字符编码的问题，因为遇到了用TTS将文本转语音的一个API，里面的中文必须是utf8的，我传了一个uncode编码的中文进去，就一直不能正常读出来，后来才发现是编码的问题。这里在网上找到两个API，可将string 传成utf8编码的string，挺好用的。 记录下来： std::string string_To_UTF8(const std::string & s
Java 所有字符串转UTF-8 万能工具类-GetEncode.java
04-04
不需要关心接受的字符串编码是UTF_8还是GBK，还是ios-8859-1，自动转换为utf-8编码格式，无需判断字符串原有编码，用法：//处理编码String newStr = GetEncode.transcode(oldStr);
Java避免UTF-8的csv文件打开中文出现乱码的方法
08-25
如果需要兼容多个Excel版本，可以使用UTF-8编码格式，并在文件头部输出BOM，即0xEF 0xBB 0xBF这三个字节。 Java避免UTF-8的csv文件打开中文出现乱码的方法是使用UTF-16LE编码格式，并在文件头部输出BOM。同时，需要...
java gbk文件转utf8_java 将GBK编码文件转为UTF-8编码
weixin_34234442的博客
02-12 2374
需要commons-io-2.0.1.jarpublic class Test {public static void main(String args[]) throws IOException{//GBK编码格式源码路径String srcDirPath = "E:\\UTF8\\shshtv3\\src";//转为UTF-8编码格式源码路径String utf8DirPath = "E:\\...
JAVA txt 转为utf-8_将txt格式的文本转为UTF-8编码问题
weixin_39761645的博客
02-27 1738
有时间根据需要必须要求上传的txt文本是UTF-8格式的才可以操作，不会出现乱码。然而我们不确定txt文本的原本编码到底是不是UTF-8的，需要进行处理。java为txt文本转码代码如下：InputStream isbr = new FileInputStream(“上传的txt文件”);byte[] head = new byte[3];isbr.read(head);//判断是否为utf-8格...
message protocol
06-23
These technical requirements form a standard for a Short Message Service (SMS), providing delivery of text and numeric information for paging, messaging, and voice mail notification. This standard includes Service Option 6 and Service Option 14 (as defined in [15]), which support delivery of short messages on Traffic Channels. Service Option 6 and Service Option 14 conform to the general requirements for service options specified in [10]. A mobile station can obtain Short Message Service operating in either the analog or the spread spectrum (CDMA) mode when it conforms to this standard. This standard does not address the quality or reliability of Short Message Service, nor does it cover equipment performance or measurement procedures.
svn: Can't convert string from 'UTF-8' to native encoding 解决办法
luosimuer
08-06 4154
今天在down代码时遇到了如下问题： [xxx@xxx ~]$ svn co https://xxxxxxxxxxxxx svn: Can't convert string from 'UTF-8' to native encoding: svn: xxxxxxxx/include/xml_inc/XML/?\194?\184?\194?\180?\194?\188?\195?\190 mc
svn commit 报【cannot convert string from native encoding to ‘UTF-8‘】错误的解决办法
mac文的java路
09-11 812
查看电脑所有语言环境 locale -a 编辑profile文件，最后一行添加UTF-8的语句export LC_ALL=C.UTF-8 vi /etc/profile source /etc/profile 通过命令locale查看当前语言环境。发现已经修改好了
Using UTF-8 locales in [B]LFS
vptr_grid的专栏
04-11 2359
AUTHOR: Alexander E. PatrakovDATE: 2003-11-06LICENSE: Public DomainSYNOPSIS: Using UTF-8 locales in [B]LFSDESCRIPTION:This hint explains what should be changed in the LFS and BLFS instructio
java后台请求第三方接口，写入中文参数时失败“message“:“Invalid UTF-8 start byte 0x84\n at XXXXXXXXX
丁东的博客
11-06 2667
RT调用第三方接口时，参数有些要传入中文，在connection.setRequestProperty("Content-Type", "application/json;charset=utf-8");这里也设置了编码格式，但是写入时还是会报{"status":400,"message":"Invalid UTF-8 start byte 0x84\n at [Source: (PushbackInputStream); line: 1, 找了一下度娘，发现问题出现在我写入时没有进行编码的指定
Java中使用Protobuf中文解析出错
DAMN WHERE'D YOU FIND THAT
05-16 1万+
报错： com.google.protobuf.InvalidProtocolBufferException: While parsing a protocol message, the input ended unexpectedly in the middle of a field. This could mean either that the input has been truncated or that an embedded message misreported its own len
byte[]与String转换引起的protobuf反序列化抛异常问题
热门推荐
yinn
03-23 4万+
使用protobuf时，将string写入ssdb然后再读出来反序列化protobuf message的时候报错：com.google.protobuf.InvalidProtocolBufferException: While parsing a protocol message, the input ended unexpectedly in the middle of a field. Th
protostuff 传输格式问题
悟已往之不谏，知来者之可追
09-02 3877
异常信息： msg=com.google.protobuf.InvalidProtocolBufferException: While parsing a protocol message, the input ended unexpectedly in the middle of a field. This could mean either that the input has been t...
java String的gbk编码转utf-8
05-24
Java中的String默认是使用Unicode编码的，而不是特定的编码格式（如GBK或UTF-8）。因此，要将一个使用GBK编码的String转换为UTF-8编码的String，需要先将其转换为字节数组，然后再将字节数组按照GBK编码格式解码为字符串，最后再按照UTF-8编码格式重新编码为字节数组，最终得到一个使用UTF-8编码的String。 示例代码如下： ``` // 定义一个使用GBK编码的字符串 String gbkStr = "中国"; // 将字符串转换为GBK编码的字节数组 byte[] gbkBytes = gbkStr.getBytes("GBK"); // 将字节数组按照GBK编码格式解码为字符串 String utf8Str = new String(gbkBytes, "GBK"); // 将字符串按照UTF-8编码格式重新编码为字节数组 byte[] utf8Bytes = utf8Str.getBytes("UTF-8"); // 将字节数组按照UTF-8编码格式解码为字符串 String result = new String(utf8Bytes, "UTF-8"); // 输出结果 System.out.println(result); // 输出：中国 ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值