情景1:已知List总数,要分批处理数据。
经典的分页逻辑就可以实现了,代码如下:
int size = 100;//每次读取条数 int count = total;//总数量 int pageCount = (count / size) + (count % size == 0 ? 0 : 1);//总页数 for (int i = 0; i < pageCount; i++) { list.Skip(i * size).Take(size).ToList(); // TODO }
情景2:未知数据总数,但是也要分批处理数据。
举一个例子,超大文件按行分割,实现逻辑,每以流的方式读取N行,然后写入新文件。关键代码如下:
StringBuilder sbNewContent = new StringBuilder(); StreamReader streamReader = new StreamReader(@"D:\test.txt", Encoding.UTF8); string line = streamReader.ReadLine(); int count = 0; int size = 100; while(line!=null) { sbNewContent.AppendLine(line); count++; if(count%size == 0) { //TODO 写入新文件 sbNewContent = new StringBuilder(); //重新初始化 } line = streamReader.ReadLine(); } if(sb.Length > 0) { //TODO 写入新文件 } streamReader.Close();