c#写入mysql_C#在MySQL海量数据下的高效读取、写入

点击上方蓝字，可快速关注我们)

来源：花生！~~链接：cnblogs.com/yczz/p/6067791.html

前提

由于工作的原因，经常需要对海量数据进行处理，做的数据爬虫相关，动辄千万级别的数据，单表几十个G都是都是家常便饭。  主要开发语言是C#，数据库使用的是MySQL。

最常见的操作便是 select 读取数据，然后在C#中对数据进行处理， 完毕后再插入数据库中。  简而言之就 select -> process -> insert三个步骤。 对于数据量小的情况下(百万级别 or 几百兆)可能

最多1个小时就处理完了。但是对于千万级数据可能几天，甚至更多。 那么问题来了，如何优化？？

(数据库的一览，有图有真相)

第一步 解决读取的问题

跟数据库打交道的方式有很多，我来列举下吧：

1. 【重武器-坦克大炮】使用重型ORM框架，比如EF,NHibernat 这样的框架。

2. 【轻武器-AK47】 使用Dapper,PetaPoco之类，单cs文件。灵活高效，使用简单。居家越货必备(我更喜欢PetaPoco :))

3. 【冷兵器？匕首？】使用原生的Connection、Command。 然后写原生的SQL语句。。

分析：