mysql类似bulkcopy_将DataTable批量复制到MySQL中(类似于System.Data.SqlClient.SqlBulkCopy)...

通过对比,发现使用MySqlBulkLoader从CSV文件批量导入DataTable到MySQL比使用MySqlDataAdapter更新快得多,减少了大约80%的时间。在30秒内用Update方法处理100,000行数据,而MySqlBulkLoader只需5到6秒。这种高效的方法包括将DataTable写入CSV,然后利用MySqlBulkLoader进行快速导入,最后删除CSV文件。" 45789923,5035413,腾讯微博抓取实践与细节解析,"['网络爬虫', 'java', '腾讯微博', '数据抓取', 'web scraping']
摘要由CSDN通过智能技术生成

小编典典

因为我认为性能会很差,所以我不想将DataTable写入CSV文件并使用MySqlBulkLoader类从那里进行插入。

不要根据无根据的假设排除可能的解决方案。我只是测试的从100,000行插入System.Data.DataTable使用标准到MySQL表MySqlDataAdapter#Update()内Transaction。持续大约需要30秒才能运行:

using (MySqlTransaction tran = conn.BeginTransaction(System.Data.IsolationLevel.Serializable))

{

using (MySqlCommand cmd = new MySqlCommand())

{

cmd.Connection = conn;

cmd.Transaction = tran;

cmd.CommandText = "SELECT * FROM testtable";

using (MySqlDataAdapter da = new MySqlDataAdapter(cmd))

{

da.UpdateBatchSize = 1000;

using (MySqlCommandBuilder cb = new MySqlCommandBuilder(da))

{

da.Update(rawData);

tran.Commit();

}

}

}

}

(我尝试了几个不同的值,UpdateBatchSize但它们似乎对经过时间没有重大影响。)

相比之下,

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值