libiconv库转换字符串出现BOM问题

已于 2023-06-29 23:24:35 修改
阅读量184 收藏
点赞数
分类专栏： C/C++ Linux 文章标签： iconv bom
于 2023-06-29 23:17:30 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/caz28/article/details/131466309
版权
Linux 同时被 2 个专栏收录
84 篇文章 1 订阅
订阅专栏
C/C++
61 篇文章 1 订阅
订阅专栏
在使用iconv进行字符编码转换时，可能会遇到转出的字符串带有BOM头的状况，尤其是当使用utf-32或utf-16时。解决方法是明确指定编码的endian，如使用utf-32le或utf-16be，避免BOM的出现。文章还指出，Windows和Ubuntu上的wchar_t大小不同，影响Unicode编码的选择，且编码的endian并不一定与系统的endian一致。
摘要由CSDN通过智能技术生成

使用iconv转换字符编码，经常出现转出的字符串带BOM头的问题。经过测试，发现unicode编码用“utf-32”或“utf-16”，转出或转入，得到的字符串有BOM，而用“utf-32le”、“utf-32be”、“utf-16le”、“utf-16be”这样的，就不会有BOM。
所以需要明确告知iconv，编码的endian，否则转出来的字符串带BOM.

Window上wchar_t是2个字节，Ubuntu上wchar_t是4个字节，所以Unicode编码是不一样的，utf-32还是utf-16要分清，编码的endian是跟字符编码有关，不一定跟系统的endian一致。

caz28
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
libiconv安卓静态库
11-02
在标题提到的“libiconv安卓静态库”中，我们主要关注的是如何使用libiconv这个开源库来解决在不同Android版本上的字符编码转换问题，特别是针对Android 11时可能出现的挑战。 libiconv是一个广泛使用的字符集转换...
iconv bom
weixin_30411239的博客
08-23 155
iconv是一个经常用来转换编码的工具，非常好用。但是今天晚上用它来将utf-8转换成utf-16时，发现它总是会自动在前面插入FEFF的BOM，转换的命令行如下： iconv -f utf-8 -t utf-16 <filename> 而我是不需要这个BOM的，当然我可以用外部程序再进行转换一次，去掉前面的BOM，但是难道iconv真就没有考虑到吗？ 虽然官方文档貌似没...
文件编码格式的转换之GB2312转UTF-8 Without BOM之使用iconv
Peter的专栏
01-07 955
在前一篇文章中《文件编码格式的转换之GB2312转UTF-8 Without BOM》： https://blog.csdn.net/cpdoor2163_com/article/details/112260222 提到了几种GB2312转UTF-8的方法，这里还可以使用iconv完成GB2312转UTF-8的任务： “iconv命令可以将一种已知的字符集文件转换成另一种已知的字符集文件。” 两句题外话： WPS中，如果写入过中文，存储的表格csv文件就是GB2312编码格式的。WPS里不能存储为UTF-
c++转码基础(2):gbk编码文件转换成无bom的utf-8文件实例
wentianyao的专栏
09-08 1762
#include #include #include #include using namespace std; extern "C" { #include "lua.h" #include "lualib.h" #include "lauxlib.h"  }   // 获取ANSI的编码数据数量 unsigned int countGBK(const char *
iconv字符编码转换全攻略
langresser的专栏
04-14 1万+
iconv（http://www.gnu.org/software/libiconv/）是一个开源的字符编码转换库，可以“方便”的完成几乎所有的编码转换工作。说简单是因为，它常用的接口就三个，iconv_open  iconv   iconv_close，但是即便是只有三个接口，要想使用正确也不容易。这里把一些基本概念和使用细节记录下来，希望能成为一篇最实用的入门教程。   一、字符编码基本概
linux 批量转换UTF8到GB2312并处理UTF8的BOM标记
jzkdl的专栏
10-14 4370
背景 本人在使用oracle的sqlplus批量导入UTF8编码的sql脚本时，由于不了解如何设置让sqlplus识别UTF8格式，导致出现乱码、错行等错误，而使工作无法继续，在google无果的情况下只好想办法转换编码。 由于文件较多，手动转换太麻烦，于是想到用脚本批量转换，幸好网上相关脚本比较多，实现起来唯一的麻烦是UTF8的BOM标记。 下面脚本经本人测试可以工作，欢迎高手留言
iconv:Golang绑定到libiconv-将字符串转换为请求的字符编码
03-05
libiconv将字符串转换为请求的字符编码。 文档 参见 注意：Open返回一个转换描述符cd，cd包含转换状态，不能同时在多个线程中使用。 安装 go get github.com/qiniu/iconv 例子 转换字串 package main import ( ...
字符编码转化、libiconv、gb18030
11-11
libiconv库的使用极大地简化了跨平台程序中的字符编码问题，通过其提供的API接口，开发者可以方便地实现字符串的编码转换。 libiconv1.16源码包含了libiconv库的实现细节，对于学习字符编码转化的底层原理和...
LibIconv库
07-12
libiconv库支持N种编码转换，详细可去官网查看具体支持的编码。
Android libiconv.so动态库
05-12
在Android平台上，libiconv.so是一个重要的动态链接库，它主要负责字符编码的转换工作。在多语言环境和跨平台的开发中，字符编码转换是一个常见的需求，因为不同的系统和应用可能采用不同的字符编码标准，如ASCII、...
find 命令查找文件时忽略某些目录
热门推荐
caz28的专栏
03-26 3万+
假设当前目录下有 a,b,c 三个目录，里面都有一个 s.txt 文件。 [caz28]~/temp$find .  -type f -name s.txt -print ./b/s.txt ./c/s.txt ./a/s.txt 要忽略 a 目录： [caz28]~/temp$find . -path ./a -prune -o -type f -name s.txt -print
Git Bash常用命令
caz28的专栏
02-03 3万+
在Windows下使用Git Bash，用的是Linux命令，常用几个文件操作命令如下： Windows命令 Linux命令 意义 cd e:\xxx cd /e/xxx 切换到xxx目录 cd pwd 显示当前目录路径 dir ls 列出当前目录内容 copy nul xxx.txt touch xxx.txt 生成名
adb shell 调试 Android 串口
caz28的专栏
01-22 2万+
Android手机上很多外设是串口连接到AP的，如modem，gps。为了调试这些串口，通常需要将它们飞线接出来，用pc的串口连接调试。这样比较麻烦。 在adb  shell里是可以直接调试串口的，就不用飞线了，还可以验证Android串口配置是否正确。 用usb连接Android设备调试后，在pc端输入 adb shell，连接成功后，先停止一些可能占用端口的服务，如： stop ril-
Linux下查找特定时间创建的文件
caz28的专栏
03-17 2万+
要在一个目录中查找2015-12-25创建的java文件，命令： find -name *.java -newermt '2015-12-25 08:00:00' ! -newermt '2015-12-25 21:00:00' 还有一个方法： ls -alR --full-time * | grep "2015-12-25"| grep ".java" 这个只能列处文件名，没有路径。
Linux BOOT 空间扩展
caz28的专栏
03-08 2万+
  Ubuntu安装时按一般情况，BOOT分配了100MB，不久升级就显示空间不足。 刚开始还能删除旧的内核解决问题，后来删了旧内核也不够。 决定扩大一下BOOT分区大小。 用GParted工具发现，不好扩大，后面没有空间，想缩小后面分区大小，只能把分区尾部向前移，不能把分区开头向后移，没用。 于是，移动出一个空白区，新建一个分区，400MB，该够了吧。 格式化成ext4. 把BOOT分区的内容...
ubuntu 安装飞秋
caz28的专栏
01-13 1万+
ubuntu安装类飞秋软件_iptux iptux是一个类似于飞秋的软件。去搜索个下载地址，安装即可。 我下载的是iptux0.5.3.tar.gz。 tar -zxvf iptux0.5.3.tar.gz /opt cd /opt ./configure --prefix=/opt 此时可能报错，找不到GLIB，GTK等。 apt-get install build-essenti
7zip压缩及排除目录或文件
caz28的专栏
05-10 1万+
全压缩： 7zr a -t7z temp.7z ziptest/ 排除bbb目录，所有的，任何目录下的bbb目录： 7zr a -t7z temp.7z ziptest/  -xr\!bbb 排除bbb文件，所有的，任何目录下的bbb文件： 7zr a -t7z temp.7z ziptest/  -x\!bbb 排除.svn目录： 7zr a -t7z temp.7z
mount后没有权限问题
caz28的专栏
01-05 1万+
因为ubuntu的空间不够，从windows搞了一个分区过来，mount后，无法新建文件夹。 sudo chown -R caz28:users /home/work /home/work是我的挂载点，caz28是我当前用户名，该挂载点的“所有人”改为当前用户后，就有权限操作该分区了。
可以使用开源库如iconv或libiconv来进行字符编码转换。
最新发布
04-12
iconv是一个开源库，用于字符编码转换。它可以将一个字符编码转换为另一个字符编码，例如将UTF-8编码的字符串转换为GBK编码的字符串。libiconv是iconv库的一个实现，提供了一组函数和工具来进行字符编码转换。 使用iconv或libiconv进行字符编码转换的一般步骤如下： 1. 包含头文件：`#include <iconv.h>` 2. 打开转换句柄：`iconv_t iconv_open(const char *tocode, const char *fromcode);` 这里的tocode表示目标编码，fromcode表示源编码。 3. 进行编码转换：`size_t iconv(iconv_t cd, char **inbuf, size_t *inbytesleft, char **outbuf, size_t *outbytesleft);` cd是转换句柄，inbuf是输入缓冲区，inbytesleft是输入缓冲区大小，outbuf是输出缓冲区，outbytesleft是输出缓冲区大小。 4. 关闭转换句柄：`int iconv_close(iconv_t cd);` 注意，使用iconv或libiconv进行字符编码转换时需要注意以下几点： - 转换句柄的创建和关闭是需要的，不要忘记调用相应的函数。 - 输入缓冲区和输出缓冲区的大小需要正确设置，以避免溢出或截断。 - 转换过程中可能会出现无法转换的字符或错误，需要进行错误处理。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值