前言
C#操作MySQL大量数据最常见的操作便是 select 读取数据,然后在C#中对数据进行处理, 完毕后再插入数据库中。 简而言之就 select -> process -> insert 三个步骤。 对于数据量小的情况下(百万级别 or 几百兆)可能
最多1个小时就处理完了。但是对于千万级数据可能几天,甚至更多。 那么问题来了,如何优化??
第一步 解决读取的问题
跟数据库打交道的方式有很多,我来列举下吧:
1. 【重武器-坦克大炮】使用重型ORM框架,比如 EF,NHibernat 这样的框架。
2. 【轻武器-AK47】 使用 Dapper,PetaPoco 之类,单cs文件。灵活高效,使用简单。居家越货必备(我更喜欢PetaPoco :))
3. 【冷兵器?匕首?】使用原生的Connection、Command。 然后写原生的SQL语句。。
分析:
【重武器】在我们这里肯定直接被PASS, 他们应该被用在大型项目中。
【轻武器】 Dapper,PetaPoco 看过源码你会发现用到了反射,虽然使用 IL和缓存技术 ,但是还是会影响读取效率,PASS
好吧那就只有使用匕首, 原生SQL 走起, 利用 DataReader 进行高效读取,并且使用 索引 取数据(更快),而不是列名。
大概的代码如下:
using (var conn = new MySqlConnection("Connection String...")) { conn.Open(); //此处设置读取的超时,不然在海量数据