中文字符串的编码转换(c实现)

    中文字符串在c/c++中表示为字节序列，在分词的时候需要根据不同的编码方式进行分词，一般分词器需要转换成统一的编码方式再进行转换，有些分词器如ICTCLAS在分词的时候可以不显示定义编码方式，可以检测字符串的编码方式再进行转换，本文就项目中用到的几种编码转换方式进行总结，主要利用了iconv进行编码转换。

const bchar_t zero[1] = {L'\0'}; void gbk_utf16le(char* inbuf, size_t inlen, char* outbuf) { iconv_t cd = iconv_open( "UTF-16LE//IGNORE", "GBK"); bzero( outbuf, inlen*4); char *in = inbuf; char *out = outbuf; size_t outlen = inlen*4; iconv(cd, &in, (size_t *)&inlen, &out,&outlen); if( outlen>=sizeof(bchar_t) ) *((bchar_t *) out) = L'\0'; iconv_close(cd); } void utf16le_gbk(char* inbuf, size_t inlen, char* outbuf) { iconv_t cd = iconv_open( "GBK//IGNORE", "UTF-16LE"); bzero( outbuf, inlen*4); char *in = inbuf; char *out = outbuf; size_t outlen = inlen*4; ic