BOM与读取UTF-8编码格式文件首行乱码问题

最新推荐文章于 2021-03-16 00:31:41 发布
最新推荐文章于 2021-03-16 00:31:41 发布
阅读量1.5k 收藏 2
点赞数 1
文章标签： 编码 utf-8 乱码 文本编辑 编辑器
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/victory08/article/details/48175173
版权

在做项目的过程中发现，读取一个以UTF-8格式编码的文件，逐行和代码中另一组UTF-8编码的字符串比较时，第一行比较总是不相同，打印出来的字符串也看不出来有哪里不一样，于是将两个字符串转换成byte数组打印，发现从文件中读取的字符串多了一些字节，于是怀疑是编辑器在这里动了手脚，上网搜索了下发现文本编辑器在以UTF-8格式保存文件时，有BOM和非BOM两种方式，关于BOM的概念如下:
BOM: Byte Order Mark
UTF-8 BOM又叫UTF-8签名,其实UTF-8的BOM对UFT-8没有作用,是为了支援UTF-16,UTF-32才加上的BOM,BOM签名的意思就是告诉编辑器当前文件采用何种编码,方便编辑器识别,BOM虽然在编辑器中不显示,但是会产生输出,就像多了一个空行。
可以使用Notepad对一个文件进行带BOM和不带BOM的转换

victory08
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Excel读取“带BOM的UTF8”文件出现乱码的解决方法
cgch_cn的专栏
02-28 2134
Excel读取“带BOM的UTF8”文件出现乱码的解决方法，用sublime打开乱码的CSV文件，设置为GBK，删除最前面的几个乱码（推测是BOM信息），保存。用Excel的“从文本/CSV”导入
Java读带有BOM的UTF-8文件乱码原因及解决方法
daimojingdeyu
05-28 696
最近在处理文件时发现了同样类型的文件使用的编码可能是不同的。所以想将文件的格式统一一下(因为UTF-8的通用性，决定往UTF-8统一)，遇见的第一个问题是：如何查看现有文件的编码方式。 上网找了一下，找到几篇比较好文章，这里就不转载啦把链接搞过来。文件编码问题集锦 字符串编码(charset,encoding，decoding)问题原理 Java编码浅析 判定文件编码或文本流编码的方法 ...
UTF-8 BOM可能导致样式错乱的解决方法
Cien
03-10 4173
UTF-8 是一种在web应用中经常使用的一种 unicode 字符的编码方式，使用 UTF-8 的好处在于它是一种变长的编码方式，对于 ANSII 码编码长度为1个字节，这样的话在传输大量 ASCII 字符集的网页时，可以大量节约网络带宽。 使用 UTF-8 编码来编写网页的时候， 往往会因为 bom (Byte Order Mark) 的问题，导致网页中经常出现一些不明的空行或者乱码字符
UTF-8编码中的BOM问题
ljp1919的专栏
03-21 3436
背景：在将一个文件从excel另存为txt的时候，以UTF-8的方式进行保存为a.txt。在C++中通过getline的方式逐行读取发现第一行的数据出现读取错误的情况。分析：将该文件另存为UTF-8的无BOM格式，再读取的时候，则可以正常读取。在UCS 编码（即 Unicode编码）中有一个叫做”ZERO WIDTH NO-BREAK SPACE”的字符，它的编码是FEFF。而FFFE在UCS中是不
Java避免UTF-8的csv文件打开中文出现乱码的方法
08-25
Java避免UTF-8的csv文件打开中文出现...Java避免UTF-8的csv文件打开中文出现乱码的方法是使用UTF-16LE编码格式，并在文件头部输出BOM。同时，需要考虑Excel版本的兼容性问题，以确保csv文件可以正确地被打开和读取。
gulp-bom:将UTF-8 BOM添加到文件
05-26
口香糖将添加到文件从维基百科： Unicode标准允许使用UTF-8中的BOM，但既不需要也不建议使用它。 字节顺序在UTF-8中没有意义。 Gulp会删除BOM表，因为它是无用的。 这是针对一些确实需要它的愚蠢工具。 除非确实需要...
PHP读取文件,解决中文乱码UTF-8的方法分析
10-15
本文将详细讲解如何使用PHP解决读取文件时的中文乱码问题，特别是针对UTF-8编码的处理。 首先，我们可以通过设置`stream_context_create`函数创建一个流上下文，指定文件的编码为UTF-8。例如： ```php $opts = ...
IDEA支持带BOM的UTF-8编码文件的解决方案
07-31
压缩包内包含 ecj-4.6.2.jar 和 Util.class两个文件 使用说明： 1. 如果你的IDEA是2017.2.2版本，那么直接把ecj-4.6.2.jar放到你的IDEA安装目录下lib文件夹中替换原文件即可 2. 如果你是其他版本的IDEA，那么用压缩...
Java解决UTF-8的BOM问题
03-18
在Java中，当我们从UTF-8编码的文本文件读取内容时，如果文件开头带有BOM，可能会导致程序错误解析字符串，因为BOM并不是实际的文本内容，而是编码的标记。例如，如果你使用Java的默认`BufferedReader`或者`Scanner`...
Java读取UTF-8格式txt文件第一行出现乱码——问号“?”及解决;Java读带有BOM的UTF-8文件乱码原因及解决方法
热门推荐
jackpk的专栏
06-29 5万+
Java读取UTF-8格式txt文件第一行出现乱码——问号“?”及解决;Java读带有BOM的UTF-8文件乱码原因及解决方法
UTF-8 BOM (网页中经常出现一些不明的空行或者乱码字符 )
Lullaby Us
12-22 253
转自: [url]http://hi.baidu.com/lssbing/blog/item/d2074a1635763910972b43d8.html[/url] utf-8 是一种在web应用中经常使用的一种 unicode 字符的编码方式，使用 utf-8 的好处在于它是一种变长的编码方式，对于 ANSII 码编码长度为1个字节，这样的话在传输大量 ASCII 字符集的网页时，可以大量节约...
Java解决UTF-8 BOM问题
IT人生
11-30 8744
    也许很多人在用dom4j操作xml的时候遇到过这样的问题“Content is not allowed in prolog”，以前我还真没遇到过，因为用的一直是Sun的JDK1.6，但如果用1.5以前的版本包括1.5或者非Sun的JDK，也许会碰到这种访问，用原始方式查看，比如命令行查看文件，会发现在它的内容最前面加了几个乱码，正是因为这个乱码导致xml无法解析，同样，如果是做其它的操作，可能也会因为这个乱码而导致异常，这其实是utf-8 BOM的问题，简单的来说就是String的字符在写入流的过程
python处理文件首行读取问题 utf-8 BOM
gloryzyf
01-16 6650
文件有utf-8 bom和utf-8无bom格式 python在读取文件首行数据时，如果是utf-8 bom格式的文件，则首行读取的是有bom信息的，和utf-8 无bom格式的文件是不同的 可以用编辑器另存为utf-8 without BOM，也可以在代码中采用codecs.open来处理 [python] view plain copy
为指定目录的指定后缀文件首行添加“#coding:utf-8”
idwtwt的专栏
12-13 1064
为了使用中文需要在py文件的首行添加“#coding:utf-8”，为了方便，我们一次性为我们的工作目录的所有py文件都添加上：#!/bin/bashfunction scandir() { local cur_dir parent_dir workdir workdir=$1 cd ${workdir} if [ ${workdir} = "/" ] the
XML跳过utf-8的BOM
JeanShaw的专栏
08-10 1966
代码内容GameData GetDataWithoutBOM(string fileName) { GameData data = new GameData(); Stream stream = new FileStream(fileName + @"\data.json", FileMode.Open, FileAccess.Read, FileShare.
读取xml格式utf-8编码 和utf-8 无bom编码格式,出现 前言中不允许有内容的问题
yong_wuqing的专栏
01-02 4503
1,java 读取 xml utf-8 编码格式的文件,出现  Caused by: org.xml.sax.SAXParseException; lineNumber: 1; columnNumber: 1; 前言中不允许有内容。     出现这样的原因, 是因为读取文件过程中,出现了格式转化问题,在代码中,需要进行转化处理. 对utf-8编码格式或者utf-8 无bom编码格式,要有对应的读
python中使用中文字符，文件首行添加# -*- coding: utf-8 -*-后仍然报错(unicode error) ‘utf-8‘ codec can‘t decode byte 0xc4
走过路过不要错过
03-16 2976
1. 添加 # -*- coding: utf-8 -*- 我们在python文件中敲上最简单的一行代码，print('你好')，然后在命令行运行文件，报错如下：SyntaxError: Non-UTF-8 code starting with '\xc4' in file test.py on line 1, but no encoding declared; see http://python.org/dev/peps/pep-0263/ for details，运行结果如下图。 通过这个错误，
JsonCpp第五课 读取带BOM的UTF-8编码文本
最新发布
05-23
在JsonCpp中，读取带BOM的UTF-8编码文本需要进行特殊处理。BOM（Byte Order Mark）是Unicode中用于标识编码方式的特殊字节序列，它在UTF-8编码中占据三个字节，分别是0xEF、0xBB和0xBF。 具体的处理方法如下： 1. ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值