linux中iconv函数,Linux下编码转换（iconv函数族）

转自：http://www.linuxdiyf.com/viewarticle.php?id=45164

在Linux上进行编码转换时，既可以利用iconv函数族编程实现，也可以利用iconv命令来实现(针对文件进行转换)

一、利用iconv函数族进行编码转换

iconv函数族的头文件是iconv.h

使用前需包含之：#include

iconv函数族有三个函数，原型如下：

(1) iconv_open()

函数原型：

iconv_t iconv_open(const char *tocode, const char *fromcode);

函数功能：

该函数分配一个编码转换句柄

参数：

1> tocode是目标编码

2> fromcode是原编码

(具体可以使用的编码方案可以百度查找)

支持的内码包括：Unicode相关编码，如UTF-8、UTF-16等等；各国采用的ANSI编码，其中包括GB2312、BIG5等中文编码方式。

返回值：

调用成功，则该函数返回一个转换句柄，供以下两个函数使用；

调用失败，返回-1，并且设置errno

可能的错误类型：

EINVAL The  conversion  from fromcode to tocode is not supported by the implementation.

(2) iconv()

函数功能：进行实际的编码转换

函数原型：

size_t iconv(iconv_t cd,

char **inbuf, size_t *inbytesleft,

char **outbuf, size_t *outbytesleft);

参数介绍：

1> cd是方法iconv_open()调用返回的转码句柄；

2> inbuf指向需要转码的缓冲区；

3> inbytesleft是inbuf所保存的需要转码的字节数；

4> outbuf存放转码结果；

5> outbytesleft存放outbuf空间的大小。

(不足之处：由于没有办法获取转换之后需要的内存大小，所以会造成内存空间的浪费！)

返回值：

调用成功，返回转换的字节数(不可逆转调用的字节数，可逆转调用的字节数不包括在内)

调用失败，返回-1，并设置相应的errno。

注意：

iconv()是逐步扫描inbuf，每转换一个字符，就增加inbuf，减少inbytesleft，并将结果存入outbuf，结果字节数存入outbytesleft

常见的三种情况：

情况一： inbuf不为空，而且*inbuf也不为空

此时，进行正常的编码转换

遇到下列情况将停止扫描并返回：

(1)inbuf中碰到非法的多字节序

这种状况下，会设置errno为EILSEQ，并返回-1；

(2)inbuf字节被完全转换

这种状况下，返回转换的字节数

(3)inbuf中碰到不完整的多字节序

这种状况下，设置errno为EINVAL，并返回-1；

(4)outbuf中没有足够的空间以进行下一次的字符转换

这种状况下，设置errno为E2BIG，并返回-1；

情况二：inbuf == NULL，或者*inbuf == NULL；但outbuf != NULL，且*outbuf != NULL

iconv会设置转换状态为初始状态，并保存转换序列到*outbuf。如果outbuf空间不足，errno会设置为E2BIG，返回(size_t) (-1)；

情况三：INBUF == NULL，或者*inbuf == NULL； 并且outbuf == NULL，*out == NULL

iconv设置转换状态为初始状态

(3) iconv_close()

函数原型：

int iconv_close(iconv_t cd);

函数功能：

此函数用于关闭转换句柄，释放资源。

示例代码：

封装一个转换类型：

class CCodeConverter

{

public:

CCodeConverter(const char * fromCode, const char * toCode)

{

hCodeConverter=iconv_open(toCode, fromCode);

}

~CCodeConverter()

{

iconv_close(hCodeConverter);

}

//进行转换

int convert(char * srcBuf, int srcLen, char * destBuf, int destLen)

{

//返回转换的字符个数

int nConv=iconv(hCodeConverter, &srcBuf, (size_t *)&srcLen, &destBuf, (size_t *)&destLen);

//如果错误，则获取错误码

nErr=errno;

return nConv;

}

//获取错误信息

int getErrInfo()

{

switch(nErr)

{

case E2BIG:

{

printf("errno:E2BGI(OutBuf空间不够)\n");

break;

}

case EILSEQ:

{

printf("errno:EILSEQ(InBuf多字节序无效)\n");

break;

}

case EINVAL:

{

printf("errno:EINVAL(有残留的字节未转换)\n");

break;

}

default:

break;

}

return nErr;

}

private:

//转换句柄

iconv_t hCodeConverter;

int nErr;

};

以utf-8转为utf-16为例

int main()

{

int srcLen=12;

char * srcBuf=new char[srcLen];

memset(srcBuf, 0, srcLen);

strcpy(srcBuf, "BaiSe");

int destLen=2*srcLen;

char * destBuf=new char[destLen];

memset(destBuf, 0, destLen);

CCodeConverter cv=CCodeConverter("utf-8", "utf-16");

int nRet=cv.convert(srcBuf, srcLen, destBuf, destLen);

if(nRet<0)

{

cv.getErrInfo();

return -1;

}

printf("转换成功\n");

}调试，查看内存，destBuf内容如下：

(gdb) print destBuf

$1 = 0x804b018 "\377\376B"

(gdb) print destBuf+1

$2 = 0x804b019 "\376B"

(gdb) print destBuf+2

$3 = 0x804b01a "B"

(gdb) print destBuf+3

$4 = 0x804b01b ""

(gdb) print destBuf+4

$5 = 0x804b01c "a"

(gdb) print destBuf+5

$6 = 0x804b01d ""

(gdb) print destBuf+6

$7 = 0x804b01e "i"

问题：不明白为什么前面有"\377\376"，是用来标识编码类型的么？

二、iconv命令

iconv命令用于转换指定文件的编码，默认输出到标准输出设备,亦可指定输出文件。

用法： iconv [选项...] [文件...]

有如下选项可用:

输入/输出格式规范：

-f, --from-code=名称 原始文本编码

-t, --to-code=名称 输出编码信息：

-l, --list 列举所有已知的字符集输出控制：

-c 从输出中忽略无效的字符

-o, --output=FILE 输出文件

-s, --silent 关闭警告

--verbose 打印进度信息

-?, --help 给出该系统求助列表

--usage 给出简要的用法信息

-V, --version 打印程序版本号

例子：

iconv -f utf-8 -t gb2312 aaa.txt >bbb.txt

这个命令读取aaa.txt文件，从utf-8编码转换为gb2312编码,其输出定向到bbb.txt文件。