C语言里如何把GBK码转换为UTF8?
(2013-03-04 19:41:31)
标签:
it
一、利用iconv函数族进行编码转换
在LINUX上进行编码转换时,既可以利用iconv函数族编程实现,也可以利用iconv命令来实现,只不过后者是针对文件的,即将指定文件从一种编码转换为另一种编码。
iconv函数族的头文件是iconv.h,使用前需包含之。
#include
iconv函数族有三个函数,原型如下:
(1) iconv_t iconv_open(const char *tocode, const char
*fromcode);
此函数说明将要进行哪两种编码的转换,tocode是目标编码,fromcode是原编码,该函数返回一个转换句柄,供以下两个函数使用。
(2) size_t iconv(iconv_t cd,char **inbuf,size_t *inbytesleft,char
**outbuf,size_t *outbytesleft);
此函数从inbuf中读取字符,转换后输出到outbuf中,inbytesleft用以记录还未转换的字符数,outbytesleft用以记录输出缓冲的剩余空间。
(3) int iconv_close(iconv_t cd);
此函数用于关闭转换句柄,释放资源。
例子1: 用C语言实现的转换示例程序
#include
#define OUTLEN 255
main()
{
char *in_utf8 = "姝e?ㄥ??瑁?";
char *in_gb2312 = "正在安装";
char out[OUTLEN];
//unicode码转为gb2312码
rc = u2g(in_utf8,strlen(in_utf
,out,OUTLEN);
printf("unicode-->gb2312 out=%sn",out);
//gb2312码转为unicode码
rc = g2u(in_gb2312,strlen(in_gb2312),out,OUTLEN);
printf("gb2312-->unicode out=%sn",out);
}
//代码转换:从一种编码转为另一种编码
int code_convert(char *from_charset,char *to_charset,char
*inbuf,int inlen,char *outbuf,int outlen)
{
iconv_t cd;
int rc;
char **pin = &inbuf;
char **pout = &outbuf;
cd = iconv_open(to_charset,from_charset);
if (cd==0) return -1;
memset(outbuf,0,outlen);
if (iconv(cd,pin,&inlen,pout,&outlen)==-1) return -1;
iconv_close(cd);
return 0;
}
//UNICODE码转为GB2312码
int u2g(char *inbuf,int inlen,char *outbuf,int outlen)
{
return
code_convert("utf-8","gb2312",inbuf,inlen,outbuf,outlen);
}
//GB2312码转为UNICODE码
int g2u(char *inbuf,size_t inlen,char *outbuf,size_t outlen)
{
return
code_convert("gb2312","utf-8",inbuf,inlen,outbuf,outlen);
}
例子2: 用C++语言实现的转换示例程序
#include
#include
#define OUTLEN 255
using namespace std;
// 代码转换操作类
class CodeConverter {
private:
iconv_t cd;
public:
// 构造
CodeConverter(const char *from_charset,const char *to_charset)
{
cd = iconv_open(to_charset,from_charset);
}
// 析构
~CodeConverter() {
iconv_close(cd);
}
// 转换输出
int convert(char *inbuf,int inlen,char *outbuf,int outlen) {
char **pin = &inbuf;
char **pout = &outbuf;
memset(outbuf,0,outlen);
return iconv(cd,pin,(size_t *)&inlen,pout,(size_t
*)&outlen);
}
};
int main(int argc, char **argv)
{
char *in_utf8 = "姝e?ㄥ??瑁?";
char *in_gb2312 = "正在安装";
char out[OUTLEN];
// utf-8-->gb2312
CodeConverter cc = CodeConverter("utf-8","gb2312"
;
cc.convert(in_utf8,strlen(in_utf
,out,OUTLEN);
cout << "utf-8-->gb2312 in=" << in_utf8 <<
",out=" << out << endl;
// gb2312-->utf-8
CodeConverter cc2 = CodeConverter("gb2312","utf-8"
;
cc2.convert(in_gb2312,strlen(in_gb2312),out,OUTLEN);
cout << "gb2312-->utf-8 in=" << in_gb2312 <<
",out=" << out << endl;
}
二、利用iconv命令进行编码转换
在LINUX上进行编码转换时,既可以利用iconv函数族编程实现,也可以利用iconv命令来实现,只不过后者是针对文件的,即将指定文件从一种编码转换为另一种编码。
iconv命令用于转换指定文件的编码,默认输出到标准输出设备,亦可指定输出文件。
用法: iconv [选项...] [文件...]
有如下选项可用:
输入/输出格式规范:
-f, --from-code=名称 原始文本编码
-t, --to-code=名称 输出编码
信息:
-l, --list 列举所有已知的字符集
输出控制:
-c 从输出中忽略无效的字符
-o, --output=FILE 输出文件
-s, --silent 关闭警告
--verbose 打印进度信息
-?, --help 给出该系统求助列表
--usage 给出简要的用法信息
-V, --version 打印程序版本号
例子:
iconv -f utf-8 -t gb2312 aaa.txt >bbb.txt
这个命令读取aaa.txt文件,从utf-8编码转换为gb2312编码,其输出定向到bbb.txt文件。
小结: LINUX为我们提供了强大的编码转换工具,给我们带来了方便。
glibc带了一套转码函数iconv,使用方便,可识别的码很多,如果程序需要涉及到编码之间的转换,可考虑用它。
iconv命令的用法。
$ iconv --list # 显示可识别的编码名称
$ iconv -f GB2312 -t UTF-8 a.html > b.html #
转换GB2312编码的文件a.html为UTF-8编码,存入b.html
$ iconv -f GB2312 -t BIG5 a.html > b.html #
转换GB2312编码的文件a.html为BIG5编码,存入b.html
iconv编程涉及到以下glibc库的调用:
#include
iconv_t iconv_open(const char *tocode, const char *fromcode);
int iconv_close(iconv_t cd);
size_t iconv(iconv_t cd,
char **inbuf, size_t *inbytesleft,
char **outbuf, size_t *outbytesleft);
在使用iconv转码的时候,首先用iconv_open获取转码句柄,然后调用iconv转码,转完了后调用iconv_close关闭句柄。
iconv函数中:
参数cd是用iconv_open调用返回的转码句柄;
参数inbuf指向需要转码的缓冲区;
参数inbytesleft是inbuf所保存的需要转码的字节数;
参数outbuf存放转码结果;
参数outbytesleft存放outbuf空间的大小。
如果调用成功,iconv返回转换的字节数(不可逆转调用的字节数,可逆转调用的字节数不包括在内)。否则返回-1,并设置相应的errno。
iconv逐步扫描inbuf,每转换一个字符,就增加inbuf,减少inbytesleft,并将结果存入outbuf,结果字节数存入
outbytesleft。遇到下列情况将停止扫描并返回:
1. 多字节序列无效,这时候errno为EILSEQ,*inbuf指向第一个无效的字符;
2. 有字节留在inbuf尚未转换,errno为EINVAL;
3. outbuf空间不够,errno为E2BIG;
4. 正常转换完备。
对于iconv函数,还有两种调用情况:
1.
inbuf或者*inbuf为NULL,outbuf和*outbuf不为NULL,iconv会设置转换状态为初始状态,并保存转换序列到*outbuf。如果outbuf空间不足,errno会设置为E2BIG,返回(size_t)(-1);
2. inbuf或者*inbuf为NULL,outbuf或者*outbuf也为NULL,iconv设置转换状态为初始状态。
iconv命令的使用固然方便,可是如果转换过程中如果遇到问题则会停止转换,有时候我们希望跳过不能转换的字节序列继续转换。以下的一段程序能实现这种功能。
#include
#include
#include
#include
#include
#include
#include
#include
#include
#ifdef DEBUG
#define TRACE(fmt, args...) fprintf(stderr, "%s:%s:%d:"fmt, \
__FILE__, __FUNCTION__, __LINE__, ##args)
#else
#define TRACE(fmt, args...)
#endif
#define CONVBUF_SIZE 32767
extern int errno;
void print_err(const char *fmt, ...)
{
va_list ap;
va_start(ap, fmt);
vfprintf(stderr, fmt, ap);
va_end(ap);
}
int print_out(const char* buf, size_t num)
{
if (num != fwrite(buf, 1, num, stdout)) {
return -1;
}
return 0;
}
void print_usage() {
print_err("Usage: siconv -f encoding -t encoding [-c] "
"input-file\n"
;
}
int iconv_string(const char *from, const char *to,
const char *src, size_t len,
::std::string& result,
int c = 0, size_t buf_size = 512)
{
iconv_t cd;
char *pinbuf = const_cast< char* >(src);
size_t inbytesleft = len;
char *poutbuf = NULL;
size_t outbytesleft = buf_size;
char *dst = NULL;
size_t retbytes = 0;
int done = 0;
int errno_save = 0;
if ((iconv_t)-1 == (cd = iconv_open(to, from))) {
return -1;
}
dst = new char[buf_size];
while(inbytesleft > 0 && !done) {
poutbuf = dst;
outbytesleft = buf_size;
TRACE("TARGET - in:%p pin:%p left:%d\n", src, pinbuf,
inbytesleft);
retbytes = iconv(cd, &pinbuf, &inbytesleft, &poutbuf,
&outbytesleft);
errno_save = errno;
if (dst != poutbuf) {// we have something to write
TRACE("OK - in:%p pin:%p left:%d done:%d buf:%d\n",
src, pinbuf, inbytesleft, pinbuf-src, poutbuf-dst);
result.append(dst, poutbuf-dst);
}
if (retbytes != (size_t)-1) {
poutbuf = dst;
outbytesleft = buf_size;
(void)iconv(cd, NULL, NULL, &poutbuf, &outbytesleft);
if (dst != poutbuf) {// we have something to write
TRACE("OK - in:%p pin:%p left:%d done:%d buf:%d\n",
src, pinbuf, inbytesleft, pinbuf-src, poutbuf-dst);
result.append(dst, poutbuf-dst);
}
errno_save = 0;
break;
}
TRACE("FAIL - in:%p pin:%p left:%d done:%d buf:%d\n",
src, pinbuf, inbytesleft, pinbuf-src, poutbuf-dst);
switch(errno_save) {
case E2BIG:
TRACE("E E2BIG\n"
;
break;
case EILSEQ:
TRACE("E EILSEQ\n"
;
if (c) {
errno_save = 0;
inbytesleft = len-(pinbuf-src); // forward one illegal byte
inbytesleft--;
pinbuf++;
break;
}
done = 1;
break;
case EINVAL:
TRACE("E EINVAL\n"
;
done = 1;
break;
default:
TRACE("E Unknown:[%d]%s\n", errno, strerror(errno));
done = 1;
break;
}
}
delete[] dst;
iconv_close(cd);
errno = errno_save;
return (errno_save) ? -1 : 0;
}
int conv_file_fd(const char* from, const char *to, int fd,
::std::string& result, int c)
{
struct stat st;
void *start;
if (0 != fstat(fd, &st)) {
return -1;
}
start = mmap(NULL, st.st_size, PROT_READ, MAP_SHARED, fd, 0);
if (MAP_FAILED == start) {
return -1;
}
if (iconv_string(from, to, (char*)start,
st.st_size, result, c, CONVBUF_SIZE) < 0) {
int errno_save = errno;
munmap(start, st.st_size);
TRACE("\n"
;
errno = errno_save;
return -1;
}
munmap(start, st.st_size);
return 0;
}
int conv_file(const char* from, const char* to,
const char* filename, int c)
{
::std::string result;
FILE *fp;
if (NULL == (fp=fopen(filename, "rb"
)) {
print_err("open file %s:[%d]%s\n", filename,
errno, strerror(errno));
return -1;
}
if (conv_file_fd(from, to, fileno(fp), result, c) < 0) {
print_err("conv file fd:[%d]%s\n", errno, strerror(errno));
fclose(fp);
return -1;
}
print_out(result.data(), result.size());
fclose(fp);
return 0;
}
int main(int argc, char *argv[])
{
#ifdef TESTCASE
::std::string strA = "欢迎(welcome ^_^)来到(to)首都北京。";
::std::string strB = "大喊一声:We are chinese <=>
我们都是中国人。";
::std::string strC = strA.substr(0, 20) + strB.substr(0, 41);
::std::string result;
if (iconv_string("GBK", "UTF-8", strC.data(), strC.size(),
result,
1) < 0)
{
TRACE("ERROR [%d]%s\n", errno, strerror(errno));
}
TRACE("CONVERSION RESULT:"
;
result.append("\n"
;
print_out(result.data(), result.size());
return 0;
#else
::std::string from, to;
::std::string input_file;
int o;
int c = 0;
while (-1 != (c = getopt(argc, argv, "f:t:c")))
{
switch(c) {
case 'f':
from = optarg;
break;
case 't':
to = optarg;
break;
case 'c':
c = 1;
break;
default:
return -1;
}
}
if (from.empty() || to.empty() || optind != (argc-1))
{
print_usage();
return -1;
}
input_file = argv[optind++];
return conv_file(from.c_str(), to.c_str(),
input_file.c_str(), c);
#endif
}
可以用内存映像文件解决文件太大内存缓冲不够的情况。相对于iconv命令,加-c选项,以忽略转换过程中可能引发的问题。
$ g++ -o siconv siconv.cpp
如果在命令行加了-DDEBUG选项,会编译进调试语句,如果加了-DTESTCASE选项,则仅会编译对iconv_string函数测试的情况。
分享:
喜欢
0
赠金笔
加载中,请稍候......
评论加载中,请稍候...
发评论
登录名: 密码: 找回密码 注册记住登录状态
昵 称:
评论并转载此博文
发评论
以上网友发言只代表其个人观点,不代表新浪网的观点或立场。