C++11新特性转换GB2312(ANSI)、UTF8、Unicode编码文件

C++11新特性转换GB2312(ANSI)、UTF8、Unicode编码文件

文本的编码方式有很多，参见我另一篇编码简介，文本编码众多，国内用的最多的也就是GB2312或GBK、UTF8(网页居多)、Unicode等。

常用文件编码

目前，大多程序采用Unicode版本，以后也会更为普及，对于本地文件中，大多为ANSI编码的文件，Windows新建个文本，记事本输入几个英文和汉字，保存。这就是默认ANSI编码的。只不过在不同地区和版本的操作系统中，所采用的扩展编码方式不同。关于有些软件，sublime text3，无bom UTF8推崇狂，ANSI的文件，打开中文必定乱码一会，然后会推荐你用utf8(100%)，就是无bom，为什么会这样？，因为ANSI和UFT8无bom的文件头没有标志。不能一定判断。

在多数西方国家，不用想，就是默认的ANSI编码，在简体中文Windows操作系统中，ANSI 编码代表 GBK 编码；在繁体中文Windows操作系统中，ANSI编码代表Big5；在日文Windows操作系统中，ANSI 编码代表 Shift_JIS 编码。

当你的程序读取读取这些文本，并保持在char 数组里，并没有什么不妥，需要得到wchar宽字节的，常用的MultiByteToWideChar转换即可。
但是还有许多非ANSI的文件，比如网页保持的文件，Java的源码文件等等。有utf8和Unicode的编码，如果你还直接读取文本，肯定会出现中文乱码（utf8）或者只能读到一个英文字符(Unicode)等。

这些编码文件的特征

怎么去读，先了解这些文件的存储特征，才能按格式读取和转换。

ANSI的特征

ANSI不用多说，ASCII在内的1字节字符128个，即char型的正数，汉字2字节，第一个字节是0X80以上，即char型负数第一字节，文件开头没有标志，直接是内容。直接读取，计算机会结合本地的编码（如GBK进行显示）。

Unicode特征

Unicode开始启用2个字节表示。衍生出USC-2LE 、USC-2BE、UTF8等等。

1、USC2-LE和USC-2BE

这个就是固定的2字节表示字符，包括英文字符也是2字节。开头有特征：
以0xFFEF（小端）和0xEFFF（大端）开头为标志。

2、UTF8

utf8是变长的编码，英文字符还有1字节，汉字和其他各国字符用2字节或者3字节。
UTF-8编码的分为带BOM和不带BOM的，BOM(Byte Order Mark)就是文件开头的标志了。
带BOM的UTF-8文件是：开头三字节，EE BB EF
不带BOM的UTF-8，开头为特征，直接是内容，造成和ANSI的一样。

读取各种编码文件并转化成whar型字符串

1. ANSI: 直接内容

• Unicode:2字节：FFEF(小端)、EFFF(大端)开头
• UTF-8(BOM) ：3字节：EE BB EF 开头
• UTF-8(100%): 直接内容

三种编码比较

我写了一个类来进行自动识别和转换，采用了C++11的新特性进行转换。扔掉MultiByteToWideChar吧，拥抱新变化。

//.h文件#include <codecvt>/*  解码不同编码的文本文件类*/typedef enum tagTextCodeType

{

    TextUnkonw = -1,

    TextANSI = 0,

    TextUTF8,

    TextUNICODE,

    TextUNICODE_BIG

}TextCodeType;

class CDecodeTextFile

{public:

    CDecodeTextFile();

    ~CDecodeTextFile();//interface

    wstring DecodeFileToWstring(const wchar_t *filePath);

    string DecodeFileToString(const wchar_t *filePath);

private:

    TextCodeType GetFileEncodeType(const wchar_t *filePath);

 

    wstring ReadString(TextCodeType type);

    wstring ReadAnsiString();

    wstring ReadUtf8String();

    wstring ReadUnicodeString();

    wstring ReadUnicodeBigString();

private:

    FILE  *m_fp;

};

实现

//.cpp文件

CDecodeTextFile::CDecodeTextFile():

m_fp(NULL)

{

 

}

 

CDecodeTextFile::~CDecodeTextFile()

{

    if (m_fp)

        fclose(m_fp);

}

 

 

wstring CDecodeTextFile::DecodeFileToWstring(const wchar_t *filePath)

{

    TextCodeType type = GetFileEncodeType(filePath);

    return ReadString(type);

}

string CDecodeTextFile::DecodeFileToString(const wchar_t *filePath)

{

    string Dst = "";

    return Dst;

}

 

TextCodeType CDecodeTextFile::GetFileEncodeType(const wchar_t *filePath)

{

    unsigned char headBuf[3] = {0};

    TextCodeType type = TextUnkonw;

    

    m_fp = _wfopen(filePath, L"r");

    if (!m_fp) return type;

 

    fseek(m_fp, 0, SEEK_SET);

    fread(headBuf, 3, 1, m_fp);

 

    if (headBuf[0] == 0xEF && headBuf[1] == 0xBB && headBuf[2] == 0xBF)     //utf8-bom 文件开头：FF BB BF,不带bom稍后解决

        type = TextUTF8;

    else if (headBuf[0] == 0xFF && headBuf[1] == 0xFE)      //小端Unicode  文件开头：FF FE  intel x86架构自身是小端存储，可直接读取

        type = TextUNICODE;

        else if (headBuf[0] == 0xFE && headBuf[1] == 0xFF)  //大端Unicode  文件开头：FE FF

            type = TextUNICODE_BIG;

            else

                type = TextANSI;    //ansi或者unf8 无bom

    

    return type;

}

 

 

wstring CDecodeTextFile::ReadString(TextCodeType type)

{

    if (!m_fp) return NULL;

    switch (type)

    {

    case TextANSI:

        return ReadAnsiString();

        break;

    case TextUTF8:      //无bom

        return ReadUtf8String();

        break;

    case TextUNICODE:

        return ReadUnicodeString();

        break;

    case TextUNICODE_BIG:

        return ReadUnicodeBigString();

        break;

    }

 

 

    return NULL;

}

 

wstring CDecodeTextFile::ReadAnsiString()

{

    const char* GBK_LOCALE_NAME = ".936"; //GBK在windows下的locale name

 

    wstring_convert<codecvt_byname<wchar_t, char, mbstate_t>> Conver_GBK(new codecvt_byname<wchar_t, char, mbstate_t>(GBK_LOCALE_NAME));    //GBK - whar

 

    fseek(m_fp, 0, SEEK_END);

    int fileSize = ftell(m_fp);

    char *buf = new char[fileSize+1];

    memset(buf, 0, fileSize+1);

 

    fseek(m_fp, 0, SEEK_SET);

    fread(buf, sizeof(char), fileSize, m_fp);

    

    wstring wDst = Conver_GBK.from_bytes(buf);      //GBK转Unicode

 

    delete buf;

    return wDst;

}

wstring CDecodeTextFile::ReadUtf8String()

{

    std::wstring_convert<std::codecvt_utf8<wchar_t>> Conver_UTF8;   //utf8-wchar

 

    char  headBuf[3] = { 0 };

 

    fseek(m_fp, 0, SEEK_END);

    int fileSize = ftell(m_fp);

 

    fseek(m_fp, 0, SEEK_SET);

    fread(headBuf, sizeof(char), 3, m_fp);

    if (headBuf[0] == 0xEF && headBuf[1] == 0xBB && headBuf[2] == 0xBF)     //带 Bom

        fseek(m_fp, 3, SEEK_SET);

    else

        fseek(m_fp, 0, SEEK_SET);

 

    char *buf = new char[fileSize];

    memset(buf, 0, fileSize);

 

    fseek(m_fp, 0, SEEK_SET);

    fread(buf, sizeof(char), fileSize, m_fp);

 

    wstring wDst = Conver_UTF8.from_bytes(buf);     //GBK转Unicode

 

    delete buf;

    return wDst;

 

}

wstring CDecodeTextFile::ReadUnicodeString()

{

    fseek(m_fp, 0, SEEK_END);

    int fileSize = ftell(m_fp);

 

    wchar_t *buf = new wchar_t[fileSize / 2];

    memset((void *)buf, 0, fileSize);

 

    fseek(m_fp, 2, SEEK_SET);

    fread(buf, sizeof(char), fileSize, m_fp);

 

    wstring wDst = buf;

 

    delete buf;

    return wDst;

}

wstring CDecodeTextFile::ReadUnicodeBigString()

{

    wstring wDst= L"";

    return wDst;

}

主要介绍：C++11中，GBK-whar相互转换 和utf8-wchar的相互转换

std::wstring_convert<std::codecvt_utf8<wchar_t>> Conver_UTF8;    //utf8-wchar

//GBK在linux下的locale名可能是"zh_CN.GBK"const char* GBK_LOCALE_NAME = ".936"; //GBK在windows下的locale name

wstring_convert<codecvt_byname<wchar_t, char, mbstate_t>> Conver_GBK(new codecvt_byname<wchar_t, char, mbstate_t>(GBK_LOCALE_NAME));    //GBK - whar

从源码可以看出，Unicode小端存储的直接读入转换即可，是因为IntelX86计算机本身也是小端存储，无障碍读取，大端由于存储正好相反，不能直接读取，稍后再完善。
还有怎么判断ANSI和无BOM的UTF8。需要根据内容来判断，稍后完善。