C#快速随机按行读取大型文本文件 - 磊的博客 - sanshi_leilei - 和讯博客

 

字号：大 中 小

下面是我实现的一个数据文件随机读取类，可以随机读取大型文本文件的某一行。在我机器上对一个130MB的文本文件，读取第200000的速度从传统做法的400ms提高到了3ms。
一般对文本文件进行读取时，一般采用ReadLine()进行逐行读取。在这种情况下，C#内的FileStream和BufferedStream类处理绰绰有余了。它不会将整个文件全部读入，而是有缓冲的读。但是，要想随机读取某一行，在行数据长度不统一的情况下，如果每次这样遍历到指定行，其效率显然是很低下的。
当然，代价也是有的，引入了第一次打开文件的打开时间，且占用了少部分内存(占用多少是可以设置的，当然占得越小速度也越慢，但最大值也比全部读入要小很多)。

（对网络代码进行部分改写）

using System;
using System.Collections.Generic;
using System.Text;
using System.Collections;
using System.Threading;
using System.IO;

namespace DataBuffer
{
    public static class FileConfig
    {
        public static int STREAM_BUFFER_SIZE = 1024000;
        public static int MAP_DISTANCE = 10;
    }

    public class DataFile
    {
        ///
        /// 数据文件名
        ///
        public string fileName = "";
        ///
        /// 初始化读取完标志
        ///
        public bool done = false;

        ///
        /// 当前流位置
        ///
        public long Position = 0;

        ///
        /// 文件头部信息
        ///
        private Hashtable head = new Hashtable();
        publ