c 读取mysql大数据库_C#在MySQL大量数据下的高效读取、写入详解|chu

前言

C#操作MySQL大量数据最常见的操作便是 select 读取数据，然后在C#中对数据进行处理， 完毕后再插入数据库中。  简而言之就 select -> process -> insert 三个步骤。 对于数据量小的情况下(百万级别 or 几百兆)可能

最多1个小时就处理完了。但是对于千万级数据可能几天，甚至更多。 那么问题来了，如何优化？？

第一步 解决读取的问题

跟数据库打交道的方式有很多，我来列举下吧：

1. 【重武器-坦克大炮】使用重型ORM框架，比如 EF,NHibernat 这样的框架。

2. 【轻武器-AK47】 使用 Dapper,PetaPoco 之类，单cs文件。灵活高效，使用简单。居家越货必备(我更喜欢PetaPoco :))

3. 【冷兵器？匕首？】使用原生的Connection、Command。 然后写原生的SQL语句。。

分析：

【重武器】在我们这里肯定直接被PASS， 他们应该被用在大型项目中。

【轻武器】 Dapper,PetaPoco 看过源码你会发现用到了反射，虽然使用 IL和缓存技术 ，但是还是会影响读取效率，PASS

好吧那就只有使用匕首， 原生SQL 走起， 利用 DataReader 进行高效读取，并且使用 索引 取数据(更快)，而不是列名。

大概的代码如下：

using (var conn = new MySqlConnection("Connection String...")) { conn.Open(); //此处设置读取的超时，不然在海量数据