Delphi判断文本文件的编码格式

今天在网上看到一位老兄写的判断记事本保存的文本的四种格式的判断，觉得非常不错。

Notepad （记事本）只支持四种格式： ANSI/Unicode/Unicode big endian/UFT-8 ，在 Delphi 中如何判断与读取这些不同格式的文本呢？ 首先，不同编码的文本，是根据文本的前两个字节来定义其编码格式的。

定义如下：

ANSI ：　　　　　　　   无格式定义；

Unicode ： 　　　　　　 前两个字节为 FFFE ；

Unicode big endian ：　 前两字节为 FEFF ；　

UTF-8 ：　 　　　　　   前两字节为 EFBB ；　

所以读写代码如下：

type
  TTextFormat=(tfAnsi, tfUnicode, tfUnicodeBigEndian, tfUtf8);

const
  TextFormatFlag: array[tfAnsi..tfUtf8] of word=($0000,$FFFE,$FEFF,$EFBB);

function WordLoHiExchange(w:Word):Word; register;
  asm XCHG AL, AH end; { TextFormat返回文本编码类型，sText未经处理的文本 }

procedure ReadTextFile(const FileName: string; var TextFormat: TTextFormat; var sText:string);
var
  w:Word;
  b:Byte;
begin
  with TFileStream.Create(FileName,fmOpenRead or fmShareDenyNone) do
    try
      Read(w,2);
      w:=WordLoHiExchange(w);//因为是以Word数据类型读取，故高低字节互换
      if w = TextFormatFlag[tfUnicode] then
        TextFormat:= tfUnicode
      else if w = TextFormatFlag[tfUnicodeBigEndian] then
        TextFormat:= tfUnicodeBigEndian
      else if w = TextFormatFlag[tfUtf8] then
      begin
        Read(b,1);//这里要注意一下，UFT-8必须要跳过三个字节。
        TextFormat:=tfUtf8;
      end
      else
      begin
        TextFormat:=tfANSI;
        Position:=0;
      end;
      SetLength(sText,Size - Position);
      ReadBuffer(sText[1],Size - Position);
    finally
      Free;
    end;
end;

经过验证ANSI和UTF-8，这个函数完全正确判定文本的格式，但是在读UTF-8文件的时候，会出现汉字乱码。事实上，我们可以利用前两个字节来判断文本类型，而通过Utf8Decode来转换。

把上面的函数简化成一个判定格式的函数，如下，为了简单，返回值使用了String：

function GetTextType(const FileName: string): String;
var
  w: Word;
  b: Byte;
begin
  with TFileStream.Create(FileName, fmOpenRead or fmShareDenyNone) do
    try
      Read(w,2);
      w:=WordLoHiExchange(w);//因为是以Word数据类型读取，故高低字节互换
      if w = TextFormatFlag[tfUnicode] then
        Result := 'tfUnicode'
      else if w = TextFormatFlag[tfUnicodeBigEndian] then
        Result:= 'tfUnicodeBigEndian'
      else if w = TextFormatFlag[tfUtf8] then
        Result := 'tfUtf8'
      else
        Result := 'tfANSI';
    finally
      Free;
    end;
end;

感谢 http://www.delphiun.com/Article/Class6/Class7/200604/172.html文章的作者。