如何判断文本文件的编码格式?

原创 2006年06月05日 23:07:00
这里指的文本是用于Windows系统中的扩展名为.txt的文件。

Notepad(记事本)只支持四种格式:ANSI/Unicode/Unicode big endian/UFT-8,在Delphi中如何判断与读取这些不同格式的文本呢?

首先,不同编码的文本,是根据文本的前两个字节来定义其编码格式的。定义如下:

ANSI:        无格式定义;
Unicode:       前两个字节为FFFE;
Unicode big endian: 前两字节为FEFF; 
UTF-8:        前两字节为EFBB; 

知道了各种编码格式的区别,写代码就容易了,以下是我在一个软件中写的处理代码:
(注意,Delphi的TMemo/TRichEdit只支持ANSI的文本文件,其它编码格式的文件需要
自行写代码转换成GB2312或BIG5,方能正确显示)

type
  TTextFormat=(tfAnsi,tfUnicode,tfUnicodeBigEndian,tfUtf8);
const
  TextFormatFlag:array[tfAnsi..tfUtf8] of word=($0000,$FFFE,$FEFF,$EFBB); 

function WordLoHiExchange(w:Word):Word;register;
asm
  XCHG AL, AH
end;

{ TextFormat返回文本编码类型,sText未经处理的文本 }
procedure ReadTextFile(const FileName: string;
  var TextFormat: TTextFormat; var sText:string);
var
  w:Word;
  b:Byte;
begin
  with TFileStream.Create(FileName,fmOpenRead or fmShareDenyNone) do
  try
    Read(w,2);
    w:=WordLoHiExchange(w);//因为是以Word数据类型读取,故高低字节互换
    if w = TextFormatFlag[tfUnicode] then
      TextFormat:= tfUnicode
    else if w = TextFormatFlag[tfUnicodeBigEndian] then
      TextFormat:= tfUnicodeBigEndian
    else if w = TextFormatFlag[tfUtf8] then
    begin
      Read(b,1);//这里要注意一下,UFT-8必须要跳过三个字节。
      TextFormat:=tfUtf8;
    end else
    begin
      TextFormat:=tfANSI;
      Position:=0;
    end;
    SetLength(sText,Size-Position);
    ReadBuffer(sText[1],Size-Position);
  finally
    Free;
  end;
end;
版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

判断字符流是不是UTF-8编码格式(读取文本文件需要转码时使用)

最近在做文本编辑器,在读取文本文件时出现乱码现象,GBK转 UTF-8简单,但是怎么去判断该文本文件读取流是不是GBK或者是UTF-8烦恼了好几天,尝试了好多方案都不太靠谱,无意中找到的一个方法测试挺...

【iOS】如何判断文本文件的字符编码格式

总体思路:遍历所有的字符编码,能正确读取输出转换的编码格式就可以理解为该文本的编码格式。

文本文件编码格式转换器

  • 2015-03-11 16:32
  • 5.99MB
  • 下载

转换文本文件编码格式

  • 2014-12-28 22:16
  • 4.22MB
  • 下载

C/C++文本文件件编码格式

判断一文本文件编码格式。打开.txt文件,文件-〉另存为-〉编码-〉ASCII,Unicode,Unicode big endian,UTF-8根据文件头判断文件可能是上面的几种编码格式WineHxe...

文本文件的编码格式问题

文本文件(包括txt,html,xml,js等等后缀)的编码格式主要分为:         1.ANSI         2.Unicode       ...

文本文件及二进制文件的大小, Unicode/utf-8/ansi编码格式

今天看别人写的程序, 有一点不是很明白, 就是在mfc的程序中利用CFile在写文件时是怎么区别二进制文件和文本文件的. 首先说一下二进制文件和文本文件的区别: 从网上找到一篇文章, 写的挺基础,...

判断编码格式

  • 2015-11-25 14:03
  • 837KB
  • 下载

java自动判断文件编码格式

上传文件等等的时候,首先要知道文件的编码格式,否则非常容易产生乱码,下面的类就是用来判断文件编码格式的,在网上找到的,试了一下,可以的:package com.sjfl.main;import jav...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)