Mysql使用MySqlBulkLoader批量插入数据

        https://blog.csdn.net/kisscatforever/article/details/66476768

        

        /// <summary>
        /// Mysql批量插入数据
        /// </summary>
        /// <typeparam name="T"></typeparam>
        /// <param name="list"></param>
        public int BatchInsert<T>(List<T> list)
        {
            var pdco = PocoData.ForType(list.FirstOrDefault().GetType(), _defaultMapper);
            //转为DataTable
            DataTable dt = new DataTable();
            dt = ConvertToDataTable(list);

            string tableName = pdco.TableInfo.TableName;
            var path = $@"D:/Attdence/";
            var fileName = $@"{path}{tableName}{DateTime.Now:yyMMddHHmmssffff}.csv";
            //dataTable转为Cvs
            ToCsv(dt, tableName, path, fileName);

            var columns = dt.Columns.Cast<DataColumn>().Select(colum => colum.ColumnName).ToList();
            using (MySqlConnection conn = new MySqlConnection(_connectionString))
            {
                
                MySqlBulkLoader bulk = new MySqlBulkLoader(conn)
                {
                    FieldTerminator = ",",
                    FieldQuotationCharacter = '"',
                    EscapeCharacter = '"',
                    LineTerminator = "\r\n",
                    FileName = fileName,
                    NumberOfLinesToSkip = 0,
                    TableName = tableName
                };
                bulk.Columns.AddRange(columns);
                var result = bulk.Load();
                try
                {
                    Action act = () => { File.Delete(fileName); };
                    act.BeginInvoke(null, null);
                }
                catch (Exception e)
                {
                    Log4NetHelp.Error(e);
                }
                return result;
            }
        }

        /// <summary>
        ///将DataTable转换为标准的CSV
        /// </summary>
        /// <param name="table">数据表</param>
        /// <returns>返回标准的CSV</returns>
        public void ToCsv(DataTable table, string tableName,string path, string fileName)
        {
            //以半角逗号(即,)作分隔符,列为空也要表达其存在。
            //列内容如存在半角逗号(即,)则用半角引号(即"")将该字段值包含起来。
            //列内容如存在半角引号(即")则应替换成半角双引号("")转义,并用半角引号(即"")将该字段值包含起来。
            StringBuilder sb = new StringBuilder();
            DataColumn colum;
            foreach (DataRow row in table.Rows)
            {
                for (int i = 0; i < table.Columns.Count; i++)
                {
                    colum = table.Columns[i];
                    if (i != 0) sb.Append(",");
                    if (colum.DataType == typeof(string) && row[colum].ToString().Contains(","))
                    {
                        sb.Append("\"" + row[colum].ToString().Replace("\"", "\"\"") + "\"");
                    }
                    else sb.Append(row[colum].ToString());
                }
                sb.AppendLine();
            }
            if (!Directory.Exists(path))
            {
                Directory.CreateDirectory(path);
            }
            File.WriteAllText(fileName, sb.ToString());
        }
  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
C#中的MySqlBulkLoader类是用于实现批量插入数据MySQL数据库的工具。它可以显著提高数据插入的性能,特别是在需要插入大量数据时。 要使用MySqlBulkLoader类,首先需要确保你已经安装了MySQL Connector/NET驱动程序。然后,你可以按照以下步骤进行批量插入: 1. 导入命名空间: ```csharp using MySql.Data.MySqlClient; ``` 2. 创建一个MySqlConnection对象,并打开数据库连接: ```csharp string connectionString = "your_connection_string"; MySqlConnection connection = new MySqlConnection(connectionString); connection.Open(); ``` 3. 创建一个MySqlBulkLoader对象,并设置相关属性: ```csharp MySqlBulkLoader bulkLoader = new MySqlBulkLoader(connection); bulkLoader.TableName = "your_table_name"; bulkLoader.FieldTerminator = ","; bulkLoader.LineTerminator = "\r\n"; bulkLoader.FileName = "your_file_path"; bulkLoader.NumberOfLinesToSkip = 1; // 如果文件中包含标题行,可以设置跳过的行数 ``` 4. 调用Load方法执行批量插入: ```csharp int rowsAffected = bulkLoader.Load(); ``` Load方法会返回插入的行数。 5. 关闭数据库连接: ```csharp connection.Close(); ``` 这样就完成了使用MySqlBulkLoader进行批量插入的过程。 需要注意的是,MySqlBulkLoader类的使用还有一些其他的属性和方法,可以根据具体需求进行设置和调用。另外,要确保插入的数据文件格式与数据库表的结构相匹配,否则可能会导致插入失败。
评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值