Java中的encoding以及reader API

最新推荐文章于 2024-04-17 11:26:17 发布
最新推荐文章于 2024-04-17 11:26:17 发布
阅读量1.2k 收藏
点赞数
分类专栏： java 文章标签： encoding java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/froghui/article/details/39642123
版权

我们知道，Unicode是现在包含所有语言字符的编码方式，但是在日常学习和开发中，我们还是会接触到其他不同的encoding，比如GB18030, ISO-8859-1等。那么对于不同的encoding，Java读取文件时候是怎么样处理的呢？

首先，JVM有个属性设置default encoding，JVM在没有指定encoding的情况下会使用default encoding进行IO操作。

在eclipse里面，可以在Properties一栏对单个Java文件或者整个项目进行Text file encoding的设置。这个设置，一方面告诉eclipse当前Java文件的encoding以便进行compile；另一方面也是启动JVM以后的IO操作等的 default encoding。

可以用如下方法得到default encoding:

		Charset def = Charset.defaultCharset();
		System.out.println("defaultCharset == "+def);

defaultCharset == ISO-8859-1



可以在JVM启动的时候加上参数告诉JVM default encoding是什么，方法是 –Dfile.encoding = XXXX


当JVM以default encoding启动程序后，根据文件本身的encoding和default encoding会产生多种结果，如下表 (注：这里的文件内容都是不超过ASCII的 codepoint，所以除了UTF 8 with BOM的文件多了BOM头，其他的内容都相同；因为如果有非ASCII的字符出现，根据编码的规则，不同encoding读取肯定有问题)

default(file)
encoding		ASCII
文件		UTF8
文件		UTF 8 with BOM 文件
UTF8OKOKOK, read (EF BB BF)
后面parse有可能引起问题
GB18030OKOKException
defaultCharset == GB18030
sun.io.MalformedInputException
at sun.io.ByteToCharGB18030.convert(ByteToCharGB18030.java:171)
at sun.nio.cs.StreamDecoder$ConverterSD.convertInto(StreamDecoder.java:314)
at sun.nio.cs.StreamDecoder$ConverterSD.implRead(StreamDecoder.java:364)
at sun.nio.cs.StreamDecoder.read(StreamDecoder.java:250)
at java.io.InputStreamReader.read(InputStreamReader.java:212)
at java.io.BufferedReader.fill(BufferedReader.java:157)
at java.io.BufferedReader.readLine(BufferedReader.java:320)
at java.io.BufferedReader.readLine(BufferedReader.java:383)
at TestRead.main(TestRead.java:35)
ISO-8859-1OKOKCan read, but read wrongly
(EF BB BF) 
(C3 AF C2 BB C2 BF)

所以，读UTF8 with BOM必须声明为UTF8的encoding，并且对读到的BOM头EF BB BF自行进行处理。因为Java本身(1.6之前)并不会忽略掉BOM
See: (http://bugs.sun.com/bugdatabase/view_bug.do?bug_id=4508058) UTF-8 encoding does not recognize initial BOM


Question 1: 在ISO-8859-1的情况下读UTF8 with BOM，发现readline（）会读成(EF BB BF) ->
(C3 AF C2 BB C2 BF)，但是用read() 却可以读出前三个char: EF BB BF。事实上，这两个函数都会调用InputStream的read 方法，也就是有decode产生

default(file)
encoding		Readline()Read()
UTF8OK read (EF BB BF)
后面parse有可能引起问题		OK, read the three bytes of BOM:
EF BB BF
GB18030Exception
defaultCharset == GB18030
sun.io.MalformedInputException
at sun.io.ByteToCharGB18030.convert(ByteToCharGB18030.java:171)
at sun.nio.cs.StreamDecoder$ConverterSD.convertInto(StreamDecoder.java:314)
at sun.nio.cs.StreamDecoder$ConverterSD.implRead(StreamDecoder.java:364)
at sun.nio.cs.StreamDecoder.read(StreamDecoder.java:250)
at java.io.InputStreamReader.read(InputStreamReader.java:212)
at java.io.BufferedReader.fill(BufferedReader.java:157)
at java.io.BufferedReader.readLine(BufferedReader.java:320)
at java.io.BufferedReader.readLine(BufferedReader.java:383)
at TestRead.main(TestRead.java:35)		Exception
defaultCharset == GB18030
sun.io.MalformedInputException
at sun.io.ByteToCharGB18030.convert(ByteToCharGB18030.java:171)
at sun.nio.cs.StreamDecoder$ConverterSD.convertInto(StreamDecoder.java:314)
at sun.nio.cs.StreamDecoder$ConverterSD.implRead(StreamDecoder.java:364)
at sun.nio.cs.StreamDecoder.read(StreamDecoder.java:250)
at java.io.InputStreamReader.read(InputStreamReader.java:212)
at java.io.BufferedReader.fill(BufferedReader.java:157)
at java.io.BufferedReader.readLine(BufferedReader.java:320)
at java.io.BufferedReader.readLine(BufferedReader.java:383)
at TestRead.main(TestRead.java:35)
ISO-8859-1Can read, but read wrongly
(EF BB BF) ->
(C3 AF C2 BB C2 BF)		OK, read the three bytes of BOM:
EF BB BF

读写XML 文件的利器JDOM 本身可以处理BOM（有无BOM都可以handle），所以对于UTF8 with BOM，送给Jdom是没有问题的

froghui
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
java设置中文编码环境_Java中文乱码之一 文件编码与系统环境
weixin_32943857的博客
02-28 706
转自：http://blog.163.com/comfort_122/blog/static/489044092010715103354256/从本文开始阐述我对java中文乱码问题的一些心得。希望这个系列文章能对被java中文编码问题困扰的朋友提供一点帮助。 文件编码与系统环境 在这个命题里面，我将关注与java源码文件的编码与操作系统自身的编码对于javac编译产生的影响。 首先简单介绍一下...
jd-gui中文乱码解决方案
sinat_25207217的博客
11-01 6952
解决jd-gui反编译出现中文乱码，一键解决jd-gui中文乱码
【JAVA基础】
Rita_zf的博客
03-20 641
JAVAJava基础Java核心概念Java分类Java版本Java优势字符编码集ASCIIUnicodeUTF-8Java命名规则public修饰的类名与源文件名字关系package作用及命名规范package作用==package命名规范== Java基础 Java 是由 Sun Microsystems 公司于 1995 年 5 月推出的一门高级程序设计语言。2009年被 Oracle （甲骨文）公司收购，Java 也随之成为 Oracle 公司的产品。 Java 可运行于多个平台，如 Window
【AIGC调研系列】Jina的Reader API是什么
最新发布
zachary的博客
04-17 1513
Jina的Reader API是一个能够将任何网址转换成对大型语言模型（LLM）友好的输入格式的工具。用户只需在URL前添加简单的前缀"https://r.jina.ai/"，即可实现这一转换，从而为使用代理和检索生成系统的用户提供改善后的输出结果[1][2]。这个API操作简单，不需要API密钥，且绝大部分网页能在2秒内处理完毕，显著改善了基于LLM的自动化系统输出质量[4]。
jsp的application对象
小傅同志的专栏
10-18 3504
1 什么是application对象 ？ (1) 当Web服务器启动时，Web服务器会自动创建一个application对象。application对象一旦创建，它将一直存在，直到Web服务器关闭。   一个Web服务器通常有多个Web服务目录 (网站)，当Web服务器启动时，它自动为每个Web服务目录都创建一个application对象，这些application对象各自独立，而且和Web
java项目中常用配置与使用说明
weixin_55229531的博客
06-02 1万+
java项目中常用配置与使用说明
api-quickstart:如何在 Python、Node.js、PHP、Go、Java 等中访问 WhiteBIT API 的示例
05-30
本指南将深入讲解如何在 Python、Node.js、PHP、Go 和 Java 中使用 WhiteBIT API，以及简要提及 C++。 ### Python Python 是一种广泛使用的编程语言，因其简洁的语法和强大的库而备受青睐。在 Python 中访问 ...
Java开发中文乱码问题解决
03-16
在Java开发过程中，中文乱码...理解字符编码的工作原理，以及如何在Java中操作字符编码，对于避免和解决乱码问题至关重要。在实际项目开发中，养成良好的编码习惯，如始终使用UTF-8编码，可以显著减少乱码问题的出现。
Java解析和生成XML
09-12
Java是一种广泛使用的编程语言，尤其在...总结，Java通过DOM、SAX、StAX等方式解析XML，以及DOM、JAXB、DOM4J等方法生成XML，提供了全面且灵活的XML处理功能。开发者可以根据实际需求选择合适的方法进行XML的读写操作。
在java中使用dom4j解析xml(示例代码)
09-04
在Java编程中，DOM4J是一个非常流行的XML处理库，它提供了一种简单且灵活的方式来解析、创建和修改XML文档。相比Java内置的DOM和SAX解析器，DOM4J的API更加直观，更适合初学者使用。在这个示例中，我们将深入理解...
Java邮件开发Fundamentals of the JavaMail API
01-15
Fundamentals of the JavaMail API Presented by developerWorks, your source for great tutorials ibm.com/developerWorks Table of Contents If you're viewing this document online, you can click ...
java json utf8_java – 解析媒体类型’application / json; encoding = utf8,charset = utf-8’时出错...
weixin_39581964的博客
02-24 702
我正在使用DropWizard和jersey来创建一个从服务器接受JSON并将其映射到POJO的客户端.但是,我在调用客户端时收到此错误.java.lang.IllegalArgumentException: Error parsing media type 'application/json;encoding=utf8, charset=utf-8'我的代码如下：@Path("/somethin...
打包java_Java之jar打包
weixin_33547353的博客
02-12 698
1、jar简介Java归档文件格式(Java Archive, JAR)能够将多个源码、资源等文件打包到一个归档文件中。这样，有如下好处：安全性可以对整个jar包的内容进行签名。减少了下载时间如果applet被打包成一个jar文件，那么所有相关的资源就可以在一个HTTP transaction中下载完成，而无需为每一个文件新建一个连接。压缩减少了磁盘空间的占用。容易扩展通过jar这种格式，可以和容...
java decompiler 乱码_jd-gui-1.6.6 乱码问题整理(about jd-gui-1.6.6 garbled code.)
weixin_33093323的博客
02-16 1518
文章最后有最终版本下载。前言，之前一直使用老版本的jd-gui,最近想看看有没有更新，结果发现还真更新了。在github上找到了源码。git地址：https://github.com/java-decompiler/jd-gui。在window环境下使用中遇到了乱码问题。特此整理记录。问题有两个：一、从反编译代码的界面CTRL+C复制是如果选中内容包含中文，贴到其他编辑器时，中文丢失。二、打开xm...
Java编译与反编译中的汉字乱码（IDEA反编译不要使用IntelliJ）
zhanggonglalala的博客
11-12 5575
一、什么是编译与反编译 简单来讲，编译就是把.java文件生成为.class文件，反编译就是把.class生成为.java文件。如果看到这里你已经懂了就可以看第二大部分了，不然就再听我絮叨一下。 我们编程的时候主要是写一个个.java文件，以及围绕它的相关配置。但是.java文件不可以直接被执行，它的需要被编译成.class文件，才能够运行在不同的JVM上。.class文件即为JVM可运行的二...
jar命令打包java应用和java打jar包的几种方式详解
猪之仆的博客
05-24 1万+
4事先准备好上述的MENIFEST.MF文件，并存放在META-INF文件夹下，此时打jar包的命令如下该命令表示用第一个文件当做MENIFEST.MF文件，hello.jar作为名称，将Hello.class和Tom.class打成jar包。其中多了一个参数m，表示要定义MENIFEST文件。
java实现获取文件编码格式,经常用于读取文件内容。
热门推荐
weixin_46015264的博客
11-11 1万+
使用java 语言IO流方式获取文档里面时，由于文档的不同编码方式要采用不同的字符集 eg：如下代码，需要我们用对应文件编码去读取。 InputStreamReader isr = new InputStreamReader(new FileInputStream(file),"utf-8"); ......
java打jar包_java打jar包的几种方式详解
weixin_39926191的博客
02-12 535
一、制作只含有字节码文件的jar包我们先来看只含有字节码文件，即只含有class文件的jar包怎么制作，这是最简单的形式1、最简单的jar包——直接输出hello最终生成的jar包结构META-INFHello.class方法步骤(1)用记事本写一个Hello.java的文件class Hello{public static void main(String[] agrs){System.out....
java jar 配置_java jar包与配置文件的写法
weixin_39935777的博客
02-12 1074
一个普通的java project，里面引用了config.properties配置文件，将项目打成Runnable jar，然后将config.properties放到打包后的jar路径下，执行该jar包，出错，原工程中properties文件读取代码如下：InputStream in = SystemConfig.class.getResourceAsStream("/config.prope...
java如何写一个api接口
06-21
要写一个 Java API 接口，可以按照以下步骤进行： 1. 创建一个 Java 类，定义 API 接口的请求参数和响应结果 ```java public class MyApiRequest { private String param1; private int param2; // 省略 getter 和 setter 方法 public static class MyApiResponse { private int code; private String message; private Object data; // 省略 getter 和 setter 方法 } } ``` 2. 定义 API 接口的处理逻辑 ```java public class MyApiHandler { public static MyApiRequest.MyApiResponse handle(MyApiRequest request) { // 处理请求逻辑 MyApiRequest.MyApiResponse response = new MyApiRequest.MyApiResponse(); response.setCode(200); response.setMessage("OK"); response.setData("Hello, " + request.getParam1() + "!"); return response; } } ``` 3. 创建一个 Servlet 类，映射 API 接口的 URL ```java @WebServlet(urlPatterns = "/api/myApi") public class MyApiServlet extends HttpServlet { protected void doPost(HttpServletRequest request, HttpServletResponse response) throws ServletException, IOException { // 读取请求参数 BufferedReader reader = request.getReader(); StringBuilder requestBodyBuilder = new StringBuilder(); String line = null; while ((line = reader.readLine()) != null) { requestBodyBuilder.append(line); } reader.close(); // 解析请求参数 MyApiRequest myApiRequest = new Gson().fromJson(requestBodyBuilder.toString(), MyApiRequest.class); // 处理请求 MyApiRequest.MyApiResponse myApiResponse = MyApiHandler.handle(myApiRequest); // 返回响应结果 response.setContentType("application/json"); response.setCharacterEncoding("UTF-8"); PrintWriter writer = response.getWriter(); writer.write(new Gson().toJson(myApiResponse)); writer.flush(); writer.close(); } } ``` 4. 部署 Servlet 应用程序 将上面的 Java 类编译成 Servlet 应用程序，并部署到 Tomcat 等 Servlet 容器中。如果使用 Maven 管理 Java 项目，可以使用 Maven 的 Tomcat 插件将项目部署到 Tomcat 中。 5. 测试 API 接口 启动 Tomcat 服务器后，使用 HTTP 客户端（如 Postman）向 API 接口的 URL 发送请求，传递请求参数，即可测试 API 接口的功能。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值