python导出10w条数据，却中文乱码了？莫慌

导航

• 引子
• 棘手的需求
• python如何导出10w行数据
• 实战案例
• 结语
• 参考

引子

在前面的文章——《python轻松将mysql数据导出到excel报表》中，我们已经很容易实现数据的导出。

这种已经能满足大部分的需求和场景。

但是，随着导出数据量变大，可能导出成exce格式的方案可能行不通了。

这时候，我们可能会考虑别的方案，比如csv格式文件。

棘手的需求

上周，业务方发了邮件，想让我帮忙导出近半年的用户聊天数据，用于质检聊天内容。

当我在数据库中统计了一下需要导出的数据量，意识到自己的知识储备不够用了。

因为要对过去一个月、一个季度甚至一年的访客会话数据进行分析。粗略统计了一下,一个月的访客会话量平均达到30w左右。

值得注意的是，Excel自身有65536行限制,导致我们导出10w+的数据，可能需要拆分成多次导出。

这种方案可行但不够优雅，有没有更简单的方案呢？

python如何导出10w行数据

那么,Python导出10w条数据的解决方案是什么呢？

相信方法总比困难多。

经过多番资料查询和实践,将数据导出到csv文件是一个可行的方案。

实战案例

需求:

现有数据库用户表中有100w+数据。
导出前10w条数据到csv文件,字段如下:

用户Id	账户名	用户类型	昵称	日期

使用Python来实现,比较简单,这里给出一个万能模板,您只需要更改数据库连接,sql即可。

import pymysql
import csv
 
def mysql_db_test_stock()