C#利用FileStream循环读取大文件

话不多说，直接上代码：

/// <summary>
/// FileStream循环读取大文件
/// </summary>
/// <param name="path">要读取的大文件地址</param>
/// <param name="LastReadPosition">上一次读取结束时的流的位置 => fs.Position</param>
/// <returns>本次读取结束时，流所在的位置（fs.Position或fs.Length）</returns>
public static long DoParse_FileStream(string path, long LastReadPosition)
{
	int bufferSize = 1024 * 1024;											// 缓冲区大小，一次最多读取该数目的字节。
	byte[] buffer = new byte[bufferSize];          							// 缓冲区
	
	Encoding encode = Encoding.UTF8;                                        // 文本所用的编码

	string dataStr = string.Empty;                                          // 存储每次读取出的字符串
	List<string> dataList = new List<string>();                            // 用换行符分隔后的每行数据

	int len = 0;                                                            // 每次读取到缓冲区的字节数
	int index = 1;                                                          // 当前读取到多少行

	string separator = "\n";                                                // 每行之间的分隔符
	string halfLine = string.Empty;                                        // 每次分隔时出现的半行字符串

	try
	{
		using (FileStream fs = new FileStream(path, FileMode.Open))
		{
			fs.Seek(LastReadPosition, SeekOrigin.Begin);                    // 设置文件流的读取位置

			while ((len = fs.Read(buffer, 0, buffer.Length)) > 0)
			{
				dataStr = encode.GetString(buffer);                        // 将读取出的字节数组按编码转换为字符串

				dataList = dataStr.Split(new string[] { separator }, StringSplitOptions.RemoveEmptyEntries).ToList();

				for (int i = 0; i < dataList.Count; i++)
				{
					if (i == 0)
					{
						dataList[i] = halfLine + dataList[i];              // 将上次读取最后的半行和本次读取的第一行合并，凑成完整的一行。
					}

					if (i == dataList.Count - 1)
					{
						if (Regex.IsMatch(dataStr, separator + @"\s*$"))
						{
							halfLine = string.Empty;                        // 当读取的内容为完整的行，设置halfLine为空值。
						}
						else
						{
							halfLine = dataList[i];                        // 当读取的内容不完整时，最后一项会是半行数据。
							continue;
						}
					}

					#region 在这里循环遍历每一行数据

					Console.WriteLine(index + ": " + dataList[i]);          // 这就是完整的每行数据
					index++;

					#endregion
			}
			buffer = new byte[bufferSize];                              // 每次fs读取前都需要先将buffer置为空，因为fs会将读取的内容“替换”到buffer的指定位置，当读取到最后一次时会出现冗余数据。
		}

		LastReadPosition = fs.Position;                                // 设置本次读取到的位置
	}
}
catch (Exception ex)
{
	Console.WriteLine(ex.Message);
}

return LastReadPosition;
}

使用说明：

1、使用时，直接在“#region 在这里循环遍历每一行数据”中编辑每一行即可。

2、每次读取出的buffer内容，应该是多行数据。以上代码中设置的buffer.Length为1024*1024，也即1M，每次可以读取出几百甚至上千行数据。