Java处理UTF-8带BOM的文本的读写

最新推荐文章于 2023-05-17 22:27:02 发布
最新推荐文章于 2023-05-17 22:27:02 发布
阅读量548 收藏
点赞数
分类专栏： java 文章标签： java string file properties dialog null

什么是BOM

 

BOM（byte-order mark），即字节顺序标记，它是插入到以UTF-8、UTF16或UTF-32编码Unicode文件开头的特殊标记，用来识别Unicode文件的编码类型。对于UTF-8来说，BOM并不是必须的，因为BOM用来标记多字节编码文件的编码类型和字节顺序（big-endian或little- endian）。

 

BOMs 文件头:

   00 00 FE FF    = UTF-32, big-endian

   FF FE 00 00    = UTF-32, little-endian

   EF BB BF       = UTF-8,

   FE FF          = UTF-16, big-endian

   FF FE          = UTF-16, little-endian

 

‍

 

下面举个例子，针对UTF-8的文件BOM做个处理：

 

String　xmla　=　StringFileToolkit.file2String（new　File（“D：\\projects\\mailpost\\src\\a.xml”），“UTF-8”）;

 

byte［］　b　=　xmla.getBytes（“UTF-8”）;

 

String　xml　=　new　String（b，3，b.length-3，“UTF-8”）;

 

..............

 

思路是：先按照UTF-8编码读取文件后，跳过前三个字符，重新构建一个新的字符串，然后用Dom4j解析处理，这样就不会报错了。

 

其他编码的方式处理思路类似，其实可以写一个通用的自动识别的BOM的工具，去掉BOM信息，返回字符串。

 

不过这个处理过程已经有牛人解决过了：http://koti.mbnet.fi/akini/java/unicodereader/

 

Java代码 

‍Example code using UnicodeReader class 

Here is an example method to read text file. It will recognize bom marker and skip it while reading.  

 

//import ‍http://koti.mbnet.fi/akini/java/unicodereader/UnicodeReader.java.txt 

   public static char[] loadFile(String file) throws IOException { 

      // read text file, auto recognize bom marker or use  

      // system default if markers not found. 

      BufferedReader reader = null; 

      CharArrayWriter writer = null; 

      UnicodeReader r = new UnicodeReader(new FileInputStream(file), null); 

   

      char[] buffer = new char[16 * 1024];   // 16k buffer 

      int read; 

      try { 

         reader = new BufferedReader(r); 

         writer = new CharArrayWriter(); 

         while( (read = reader.read(buffer)) != -1) { 

            writer.write(buffer, 0, read); 

         } 

         writer.flush(); 

         return writer.toCharArray(); 

      } catch (IOException ex) { 

         throw ex; 

      } finally { 

         try { 

            writer.close(); reader.close(); r.close(); 

         } catch (Exception ex) { } 

      } 

   } 

 

Java代码 

Example code to write UTF-8 with bom marker 

Write bom marker bytes to start of empty file and all proper text editors have no problems using a correct charset while reading files. Java's OutputStreamWriter does not write utf8 bom marker bytes.  

 

 

   public static void saveFile(String file, String data, boolean append) throws IOException { 

      BufferedWriter bw = null; 

      OutputStreamWriter osw = null; 

   

      File f = new File(file); 

      FileOutputStream fos = new FileOutputStream(f, append); 

      try { 

         // write UTF8 BOM mark if file is empty 

         if (f.length() < 1) { 

           final byte[] bom = new byte[] { (byte)0xEF, (byte)0xBB, (byte)0xBF }; 

            fos.write(bom); 

         } 

 

         osw = new OutputStreamWriter(fos, "UTF-8"); 

         bw = new BufferedWriter(osw); 

         if (data != null) bw.write(data); 

      } catch (IOException ex) { 

         throw ex; 

      } finally { 

         try { bw.close(); fos.close(); } catch (Exception ex) { } 

      } 

   } 

  

 

 

实际应用：

Java代码 

package com.dayo.gerber; 

 

import java.io.BufferedReader; 

import java.io.BufferedWriter; 

import java.io.File; 

import java.io.FileInputStream; 

import java.io.FileOutputStream; 

import java.io.IOException; 

import java.io.InputStream; 

import java.io.InputStreamReader; 

import java.io.OutputStreamWriter; 

import java.io.Reader; 

import java.util.Properties; 

 

/**

 * 

 * @author 刘飞(liufei)

 * 

 */ 

public class Generate4YYQTPScript { 

 

    private static final String ENCODING = "UTF-8"; 

    private static final String GERBER_CONFIG = "config/gerber4yy.properties"; 

 

    private static Properties GERBER_CONFIG_PROPS = null; 

    private static final String GERBER_FORMAT_DIALOG_TITLE_SCRIPT = "{#GERBER_FORMAT_DIALOG_TITLE}"; 

    private static String GERBER_FORMAT_DIALOG_TITLE = ""; 

 

    /* gerber properties parmters keys config */ 

    private static final String QTP_SCRIPT_IN = "script.in"; 

 

    private static final String QTP_SCRIPT_OUT = "script.out"; 

 

    private static final String QTP_SYSTEM_PATH = "QTP.system.path"; 

    private static final String QTP_SYSTEM_PATH_SCRIPT = "{#QTPSYSTEMPATH}"; 

 

    private static final String GERBER_FILE_DRIVER_PATH = "gerber.file.driver.path"; 

    private static final String GERBER_FILE_DRIVER_PATH_SCRIPT = "{#driver}"; 

 

    private static final String GERBER_FILE_DRIVER = "gerber.file.driver"; 

    private static final String GERBER_FILE_DRIVER_SCRIPT = "{#dr}"; 

 

    private static final String GERBER_FILE_DIR = "gerber.file.dir"; 

    private static final String GERBER_FILE_DIR_SCRIPT = "{#dirName}"; 

 

    private static final String GERBER_FILE = "gerber.file"; 

    private static final String GERBER_FILE_SCRIPT = "{#fileName}"; 

 

    private static final String GERBER_OUT = "gerber.out"; 

    private static final String GERBER_OUT_SCRIPT = "{#gerberout}"; 

 

    private static final String VB_EXE_PATH = "vb.exe.path"; 

 

    /* bigBoard props */ 

    private static final String LEAGUE_BOARD_NUM_SCRIPT = "{#LEAGUE_BOARD_NUM}"; 

    private static final String WIDTH_SCRIPT = "{#WIDTH}"; 

    private static final String P_SCRIPT = "{#P}" ; 

    private static final String DY_SCRIPT = "{#DY}"; 

 

    private Properties BIGBOARD_PROPS = null; 

 

    public Generate4YYQTPScript(Properties bigboard_props) { 

        super(); 

        BIGBOARD_PROPS = bigboard_props; 

 

        try { 

            GERBER_CONFIG_PROPS = ConfigHelper 

                    .getConfigProperties(GERBER_CONFIG); 

            GERBER_FORMAT_DIALOG_TITLE = GERBER_CONFIG_PROPS.getProperty( 

                    GERBER_FILE_DRIVER).trim().toUpperCase() 

                    + "\\" 

                    + GERBER_CONFIG_PROPS.getProperty(GERBER_FILE_DIR).trim() 

                            .toUpperCase() 

                    + "\\" 

                    + GERBER_CONFIG_PROPS.getProperty(GERBER_FILE).trim() 

                            .toUpperCase(); 

            GERBER_FORMAT_DIALOG_TITLE = GERBER_FORMAT_DIALOG_TITLE.substring(0, 17) ; 

        } catch (IOException e) { 

            e.printStackTrace(); 

        } 

    } 

 

    public static void main(String[] args) throws IOException { 

        Properties bigboard_props = new Properties() ; 

        bigboard_props.setProperty("{#LEAGUE_BOARD_NUM}", String.valueOf(4)) ; 

        bigboard_props.setProperty("{#WIDTH}", String.valueOf(new Double("54"))) ; 

        bigboard_props.setProperty("{#P}", String.valueOf(new Double("2"))) ; 

        bigboard_props.setProperty("{#DY}", String.valueOf(new Double("0.00"))) ; 

         

        Generate4YYQTPScript generateQTPScript = new Generate4YYQTPScript(bigboard_props); 

        generateQTPScript.generateQTPScript(); 

//      RuntimeUtil.getInstance().run(generateQTPScript.getVBEXE(), 1, 50000); 

    } 

 

    public String getCheckOutFilePath() { 

        return GERBER_CONFIG_PROPS.getProperty(GERBER_FILE_DRIVER).trim() + "/" 

                + GERBER_CONFIG_PROPS.getProperty(GERBER_FILE_DIR).trim(); 

    } 

 

    public String getSavePath() { 

        return GERBER_CONFIG_PROPS.getProperty(GERBER_OUT); 

    } 

 

    public String getVBEXE() { 

        return GERBER_CONFIG_PROPS.getProperty(VB_EXE_PATH); 

    } 

 

    /**

     * Generate QTP Script

     * 

     * @return

     * @throws IOException

     */ 

    public File generateQTPScript() throws IOException { 

        return generateQTPScript(GERBER_CONFIG_PROPS 

                .getProperty(QTP_SCRIPT_OUT), GERBER_CONFIG_PROPS 

                .getProperty(QTP_SCRIPT_IN)); 

    } 

 

    /**

     * set value to script

     * 

     * @param source

     * @return

     * @throws IOException

     */ 

    private String scriptConvey(String source) throws IOException { 

        String _source = source; 

        _source = this.replace(this.replace(this.replace( 

                this.replace(this.replace(this.replace(this.replace( 

                         

                        _source 

                        , 

                        GERBER_FORMAT_DIALOG_TITLE_SCRIPT, 

                        GERBER_FORMAT_DIALOG_TITLE), GERBER_FILE_SCRIPT, 

                        GERBER_CONFIG_PROPS.getProperty(GERBER_FILE)), 

                        GERBER_FILE_DRIVER_SCRIPT, GERBER_CONFIG_PROPS 

                                .getProperty(GERBER_FILE_DRIVER)), 

                        GERBER_OUT_SCRIPT, GERBER_CONFIG_PROPS 

                                .getProperty(GERBER_OUT)), 

                GERBER_FILE_DIR_SCRIPT, GERBER_CONFIG_PROPS 

                        .getProperty(GERBER_FILE_DIR)), 

                GERBER_FILE_DRIVER_PATH_SCRIPT, GERBER_CONFIG_PROPS 

                        .getProperty(GERBER_FILE_DRIVER_PATH)), 

                QTP_SYSTEM_PATH_SCRIPT, GERBER_CONFIG_PROPS 

                        .getProperty(QTP_SYSTEM_PATH)); 

 

        if (this.BIGBOARD_PROPS != null) { 

            _source = this.replace(this.replace(this.replace( 

                     

                    _source 

                     

                    , 

                    DY_SCRIPT, this.BIGBOARD_PROPS.getProperty(DY_SCRIPT)), 

                    WIDTH_SCRIPT, this.BIGBOARD_PROPS 

                            .getProperty(WIDTH_SCRIPT)), 

                    LEAGUE_BOARD_NUM_SCRIPT, this.BIGBOARD_PROPS 

                            .getProperty(LEAGUE_BOARD_NUM_SCRIPT)); 

             

            _source = this.replace(_source, P_SCRIPT, this.BIGBOARD_PROPS.getProperty(P_SCRIPT)) ; 

        } 

 

        return _source; 

    } 

 

    /**

     * Generate QTP Script

     * 

     * @param target

     *            target file

     * @param source

     *            source file

     * @throws IOException

     */ 

    public File generateQTPScript(File target, File source) throws IOException { 

        return generateQTPScript(target.getAbsolutePath(), source 

                .getAbsolutePath()); 

    } 

 

    /**

     * Generate QTP Script

     * 

     * @param target

     *            target file path

     * @param source

     *            source file path

     * @return

     * @throws IOException

     */ 

    public File generateQTPScript(String target, String source) 

            throws IOException { 

        File f = new File(target); 

        if (!f.exists()) { 

            f.getParentFile().mkdirs(); 

            try { 

                f.createNewFile(); 

            } catch (Exception e) { 

            } 

        } 

        FileOutputStream fos = null; 

        OutputStreamWriter osw = null; 

        BufferedWriter bw = null; 

        try { 

            final byte[] bom = new byte[] { (byte)0xEF, (byte)0xBB, (byte)0xBF }; 

            fos = new FileOutputStream(f); 

            osw = new OutputStreamWriter(fos, ENCODING); 

            bw = new BufferedWriter(osw); 

            fos.write(bom); 

            bw.write(scriptConvey(getSourceFileContentReader(source))); 

 

            bw.flush(); 

            bw.close(); 

            return f; 

        } catch (IOException e) { 

            throw e; 

        } 

    } 

 

    /**

     * Reader convey to string

     * 

     * @param source

     * @return

     * @throws IOException

     */ 

    private String reader2String(Reader source) throws IOException { 

        BufferedReader bufferedReader = new BufferedReader(source);  

        StringBuffer result = new StringBuffer(); 

        String buffer = null; 

        while ((buffer = bufferedReader.readLine()) != null) { 

            result.append(buffer + "\n"); 

        } 

        return result.toString(); 

    } 

 

    /**

     * 

     * @param source

     *            file path

     * @return

     * @throws IOException

     */ 

    private Reader getReader(String source) throws IOException { 

        return source == "" ? null : new BufferedReader(new InputStreamReader( 

                getInputStream(source))); 

    } 

 

    /**

     * get script file content string

     * 

     * @param source

     * @return

     * @throws IOException

     */ 

    private String getSourceFileContentReader(String source) throws IOException { 

        return source == "" ? "" : reader2String(getReader(source)); 

    } 

 

    /**

     * get inputstream

     * 

     * @param source

     *            file path

     * @return

     * @throws IOException

     */ 

    private InputStream getInputStream(String source) throws IOException { 

        return source == "" ? null : new FileInputStream(new File(source)); 

    } 

 

    /**

     * Replace all occurences of a substring within a string with another

     * string.

     * 

     * @param inString

     *            String to examine

     * @param oldPattern

     *            String to replace

     * @param newPattern

     *            String to insert

     * @return a String with the replacements

     */ 

    private String replace(String inString, String oldPattern, String newPattern) { 

        if (!hasLength(inString) || !hasLength(oldPattern) 

                || newPattern == null) { 

            return inString; 

        } 

        StringBuilder sb = new StringBuilder(); 

        int pos = 0; 

        int index = inString.indexOf(oldPattern); 

        int patLen = oldPattern.length(); 

        while (index >= 0) { 

            sb.append(inString.substring(pos, index)); 

            sb.append(newPattern); 

            pos = index + patLen; 

            index = inString.indexOf(oldPattern, pos); 

        } 

        sb.append(inString.substring(pos)); 

        return sb.toString(); 

    } 

 

    private boolean hasLength(String str) { 

        return hasLength((CharSequence) str); 

    } 

 

    private boolean hasLength(CharSequence str) { 

        return (str != null && str.length() > 0); 

    } 

}   

原文地址：http://www.2cto.com/kf/201108/98509.html

ly5156
关注
专栏目录
Python-convert2utf将目录下的全部源文件转成UTF8编码
08-10
同时，`utf-8-sig`编码器会处理可能存在的BOM，确保写入的文件不含BOM。 标签"Python开发-其它杂项"表明这个话题属于Python开发的范畴，但并不属于特定的库或框架，而是日常开发中可能会遇到的通用问题。这类问题的...
Java解决UTF-8的BOM问题
热门推荐
十六月的博客
03-18 1万+
近日在项目中遇到一件诡异的事情，有一个txt文件，用记事本保存和notepad++ 保存，再用Java读取的时候，读出来的结果不一致。 如上面这个txt 文件，读取“自杀”2个字，虽然打印在控制台都是一样的，但是进行长度比对发现notepad++长度是2，但是记事本保存后读出来的长度竟然是3。 后面在网上查询了一下，txt文件编码格式有UTF-8和UTF-8无(BOM) 2中格式，下面来看
JAVA输出带BOM的UTF-8编码的文件
u013452335的博客
05-28 4648
https://blog.csdn.net/comeonyangzi/article/details/81708134 当从http 的response输出CSV文件的时候，设置为utf8的时候默认是不带 bom的，但是windows的Excel是使用bom来确认utf8编码的，所有需要把bom写到文件的开头。 微软在 UTF-8 中使用 BOM 是因为这样可以把 UTF-8 和 ASCI...
Java - UTF编码中的BOM是什么？
⚡
05-17 950
🤔️回答这个问题之前，首先提一个额外的问题：UTF-8中的UTF和8分别表示什么？
java导入百万csv_关于java导入导出CSV文件的坑
weixin_35645652的博客
03-02 779
现在越来越多与数据相关的项目用到数据的批量导入导出功能，csv格式文件也是这种场景下最常用的文件格式。csv可以用excel打开，这也是他便利的一面，相比于xlsx等格式，csv格式更简单，只包含数据，不包含格式，体积更小，兼容性更好。但其中也隐藏着一些坑。我们一般常用的编码格式是UTF-8，其实有utf-8和utf-8 bom两种格式，utf-8 bom格式是在文件开头加了0xEF, 0xBB,...
Java处理UTF-8文件的BOM头部
快乐领读
04-17 1729
Java处理UTF-8文件的BOM头部 BOM——Byte Order Mark，就是字节序标记。 基本概念 在UCS 编码中有一个叫做”ZERO WIDTH NO-BREAK SPACE“的字符，它的编码是FEFF。而FFFE在UCS中是不存在的字符，所以不应该出现在实际传输中。 UCS规范建议我们在传输字节流前，先传输 字符”ZERO WIDTH NO-BREAK SPACE“。 如果接收者收到FEFF，就表明这个字节流是大字节序的；如果收到FFFE，就表明这个字节流是小字节序的。因此字符”ZERO
java去掉txt文本的bom头信息
07-09
以下是一个简单的示例，展示了如何读取带有BOM头的UTF-8文件，并将其写入一个新的不带BOM头的文件： ```java import java.io.*; import java.nio.charset.Charset; import java.nio.charset.StandardCharsets; ...
批量移除文件的BOM格式
08-14
在编程世界里，BOM（Byte Order Mark）是一种特殊的Unicode字符，用于标识文件的编码方式。在UTF-8编码中，BOM是...同时，这也提醒我们在编写或处理文本文件时，应尽可能遵循无BOM的UTF-8编码标准，以避免兼容性问题。
深入UTF8字符编码
02-21
- BOM（Byte Order Mark）：UTF-8编码的文件可以带有一个可选的BOM标记，用于指示数据流的字节顺序，但某些工具或程序可能不支持带BOM的UTF-8。 - 乱码问题：检查文件读取和写入时的编码设置，确保一致。 - 汉字全角...
Ini for Java
04-28
ps:INI文件一般是Windows平台在使用，而Windows系统中的“记事本”程序比较坑：如果文本文件是UTF-8编码，在用记事本打开并保存后，会变成“UTF-8 Bom”格式。而 Windows中读写INI的相关API又不支持“UTF-8 Bom”...
java导出csv内容乱码
shuimu_88的专栏
11-26 525
/** * CSV文件生成方法 * @param head表单头 * @param dataList表单内容 * @param outPutPath输出路径 * @param filename表单文件名 * @return */ public static File createCSVFile(List<Obje...
java作成csv文件
m0_65939803的博客
11-11 587
java作成输出csv文件
Java解决UTF-8 BOM问题
IT人生
11-30 8802
    也许很多人在用dom4j操作xml的时候遇到过这样的问题“Content is not allowed in prolog”，以前我还真没遇到过，因为用的一直是Sun的JDK1.6，但如果用1.5以前的版本包括1.5或者非Sun的JDK，也许会碰到这种访问，用原始方式查看，比如命令行查看文件，会发现在它的内容最前面加了几个乱码，正是因为这个乱码导致xml无法解析，同样，如果是做其它的操作，可能也会因为这个乱码而导致异常，这其实是utf-8 BOM的问题，简单的来说就是String的字符在写入流的过程
java utf 8 bom_Java读带有BOM的UTF-8文件乱码原因及解决方法
weixin_42415451的博客
02-12 505
转自：http://daimojingdeyu.iteye.com/blog/397661最近在处理文件时发现了同样类型的文件使用的编码可能是不同的。所以想将文件的格式统一一下(因为UTF-8的通用性，决定往UTF-8统一)，遇见的第一个问题是：如何查看现有文件的编码方式。上网找了一下，找到几篇比较好文章，这里就不转载啦把链接搞过来。文件编码问题集锦字符串编码(charset,encoding，d...
Java 写入文件时添加BOM头
chichanma2003的博客
08-10 2042
BOM（Byte Order Mark），字节顺序标记，出现在文本文件头部，Unicode编码标准中用于标识文件是采用哪种格式的编码。百度百科 项目中用到csv文件，使用Java读写csv文件时都设置了编码为utf8，然而用excel打开这些csv文件时中文都是乱码（使用wps可以正常显示）...
导出csv文件中文乱码
test的博客
11-22 1423
导出csv文件中文乱码 微软的excel文件需要通过文件头的bom来识别编码，所以写文件时，需要先写入bom头。 在写文件前，加入BOM String bOM = new String(new byte[] { (byte) 0xEF, (byte) 0xBB, (byte) 0xBF }); //or byte[] uft8bom={(byte)0xef,(byte)0xbb,(byte...
问题：写入csv文件时转换编码utf-8成utf-8-bom
rjuan的博客
08-13 3254
原先用PrintWrite写入的时候，设置编码为utf-8，但是不满足需求。追加使用BufferedWriter 字节流编码不支持utf-8-bom，新增写入之前的代码 FileOutputStream fos = null; //需要UTF-8-BOM编码 byte[] uft8bom={(byte)0xef,(byte)0xbb,(byte)0xbf}; fos = new FileOutputStream(
java BufferedReader读取txt文件的编码UTF-8-BOM
最新发布
06-08
如果你要使用 BufferedReader 读取一个 UTF-8-BOM 编码的 txt 文件，可以使用以下代码： ```java File file = new File("file.txt"); BufferedReader reader = new BufferedReader(new InputStreamReader(new ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值