检测一个文件是否为文本文件/二进制文件的方法

        判断一个文件是否为文本文件，最简单的方法是使用UE或者editplus之类的文本编辑器打开看看，如果没有明显的乱码且代码页正确，则可以判定是文本文件（多简单阿，有眼睛的都能看出来），但是如果需要程序判断的话怎么办呢？

        有几种方法可以考虑

一.      判断不可见字符 

         我们知道，一般文本文件中是不会带有除空白字符之外的控制符号的，我们可以检测是否存在这些字符来判断是否为文本文件，例如文本中出现值为0的字符，或者值为255的字符，很明显不是文本文件，但是如果是Unicode编码或者中文字符（特别是繁体中文）呢？ 还是不太好办。。。

 

二.     检索字符码表

       既然控制字符无法完全解决该问题，那我们把常用编码的码表统计出来，找到码表中的有效区段，这样当文件中出现的所有字符都在这些区段范围时，该文件即可确定为文本文件了。

      但是这种方法太猥琐了，还是baidu一下，google一会吧

 

三.      统计不可见字符

       搜了一通后，发现有人说google有篇论文是采用统计不可见字符的方法实现的，不过没找到该文章所说的论文，所以自己随便实现了一下，结果表名有一些效果，统计的比率伐值控制好的话，应该是很实用很简单的一种办法。 在实验了一堆html文件之后信心大增，可是在接下来处理简单Unicode字符时却遇到了麻烦，这种文件中可能有N多的0。。。。。。

        怎么对付Unicode文件呢？ 继续搜索！

        终于找到了识别Unicode的代码，用C#实现如下：

public bool CheckIsUniFile(byte[] header)
        {
            if (header.Length < 2)
                return false;

            bool flag = false;
            if ((header[0] == 0xfe) && (header[1] == 0xff))
            {
                // Unicode,bigEndian
                flag = true;
            }
            else if ((header[0] == 0xff) && (header[1] == 0xfe))
            {
                if (((header.Length >= 4) && (header[2] == 0)) && (header[3] == 0))
                {
                    //UTF32
                }
                else
                {
                    // UNICODE,littleEndian
                }
                flag = true;
            }
            else if (((header.Length >= 3) && (header[0] == 0xef)) && ((header[1] == 0xbb) && (header[2] == 0xbf)))
            {
                // UTF8
                flag = true;
            }
            else if ((((header.Length >= 4) && (header[0] == 0)) && ((header[1] == 0) && (header[2] == 0xfe))) && (header[3] == 0xff))
            {
                //UTF32,bigEndian
                flag = true;
            }

            return flag;

            //throw new System.NotImplementedException();
        }

       该函数需要传入2到4个字节的文件头标识，用来识别是否为Unicode文件的标志。

       那么判定文件为文本文件的代码也比较好写了，代码为c#的实现：

/// <param name="strFilename">文件名</param>
        public bool CheckIsTxtFile(string strFilename)
        {
            if (!File.Exists(strFilename))
                return false;

            int[] naCharVisible = new int[2]; // 可见字符统计表，[0] 表示可见个数，[1]表示不可见个数
            byte[] header = new byte[4];

            FileStream fs = File.OpenRead(strFilename);
            byte[] buffer = new byte[1024];

            int nReadCount = fs.Read(buffer, 0, 1024);
            if (nReadCount >= 4)
            {
                header[0] = buffer[0];
                header[1] = buffer[1];
                header[2] = buffer[2];
                header[3] = buffer[3];
            }

            for (int i = 0; i < nReadCount; i++)
            {
                byte item = buffer[i];
                if (item < ' ')
                {
                    naCharVisible[1]++;
                    //return false;
                }
                else
                {
                    naCharVisible[0]++;
                }
            }

            if (fs.Length > 1024)
            {
                fs.Seek(-1024, SeekOrigin.End);
            }
            nReadCount = fs.Read(buffer, 0, 1024);

            for (int i = 0; i < nReadCount; i++)
            {
                byte item = buffer[i];
                if (item < ' ')
                {
                    naCharVisible[1]++;
                    //return false;
                }
                else
                {
                    naCharVisible[0]++;
                }
            }

            //throw new System.NotImplementedException();
            if (naCharVisible[0] != 0 && naCharVisible[1] != 0)
            {
                int nRate = naCharVisible[0] * 100 / (naCharVisible[0] + naCharVisible[1]);
                if ( nRate >= 93)
                {
                    return true;
                }
                else if (nRate >= 60)
                {
                    return CheckIsUniFile(header);
                }
                else
                {
                    return false;
                }
            }
            else if (naCharVisible[0] == 0)
            {
                return false;
            }
            else
            {
                return true;
            }
        }

     文章基本写完了，最后要说的是如果检验结果不够精确，试着修改上面与nRate 比较的几个值，或者使用更有效的统计算法，希望本文对您有用！