在工作中遇到一个问题,合作单位给了一个400M的txt文件,里面包含了工作中需要的数据,于是便有了这种需求和下面的代码,在此贴出来,共享。
TXT文件中数据排列规则:1、每一行是一条数据; 2、每个字段之间用|| 分割。
我首先用sql server 进行数据导入,但总是报错,因为该TXT文件中有些数据不完整,使得直接导入失败。
TXT文件截图
代码写的有点乱,主要是为例快速实现功能,其他的考虑少一些,见谅。
下面这段代码运行了3个多小时,完成了221万条记录的读取、分段和写入数据库
public partial class Form1 : Form
{
public Form1()
{
InitializeComponent();
}
public static string[,] test;
private void Form1_Load(object sender, EventArgs e)
{
string[] strRead = new string[30];
int EveryRow = 0;
string line = "";
string path = "E:\\编程1\\WriteTXT\\WriteTXT.txt";
StreamReader s