1.首先根据BOM来判定
UTF-8的BOM: EF BB BF; 对应的十进制数值是:239 187 191 如果文件的开头三个字节与之相符则说明文件的编码是UTF8的
UTF-16LE的BOM: FF FE; 对应的十进制数值是: 255 254 如果文件的开头两个字节与之相符则说明对应的编码是UTF-16LE
UTF-16BE的BOM: FE FF ; 对应的十进制数值是:254 255 如果文件的开头两个字节与之相符则说明对应的编码是UTF-16BE
2.BOM不存在的情况判定
UTF-8的判定,根据内容判定
UTF-8的编码规则:
字符字节长度 标志字节 值
一字节长 0XXXXXXX
两字节长 110XXXXX 10XXXXXX
三字节长 1110XXXX 10XXXXXX 10XXXXXX
四字节长 11110XXX 10XXXXXX 10XXXXXX 10XXXXXX
**标志字节判定用到的数据**
定义数组btHead 长度为4保存用来判定标志字节的十进制数值: 0,192, 224, 240
定义数组btBitAndValue 长度为4保存用来得到标志字节长度的十进制数值:128: 224, 240, 248
**值判定用到的数据**
定义变量btValueHead用来保存值得标志所对应的十进制数值:128
定义变量btFixValueAnd 保存用来取得值的标志的十进制数值:192
a.以字节方式读取文件中内容保存到字节数组中
b.对a中读取的文件内容做loop操作。
首先对当前的字节分别与btBitAndValue中的四个值进行位与操作,每次得到的值与btHead中的值比较,找到相等的值时可以根据当前的 值来判定字符的字节长度L。并执行下一个循环,在跳过b的操作次数(L - 1)次时在执行b操作
c.取得值的标志。 将此致的值与btFixValueAnd进行位与操作,将取得的值与btValueHead进行比较,如果相等则对下一个字节继续执行c操作,直到执行的次数是L-1次。如果不相等则说明不是UTF-8编码格式。
UTF-16的判定与UTF-8的判定类似只要知道编码规则就可以。
3. 文字Code的转换操作
转换操作用到的API:
多字节转宽字节:MultiByteToWideChar
宽字节转多字节:WideCharToMultiByte
MSDN有详细参数说明。
具体步骤: 首先判定要保存转换结果字符串的长度,相应参数设定成固定的值便可以得到。
其次,根据得到的长度分配存储变量
最后,进行转换。
注意分配的内存释放问题。