遇码开源社区

书中自有颜如玉”，至少在那一刻我是愿意相信的，哈哈哈。知识的力量在那一刻被具象化了。

本文将为同学们介绍如何用数据库管理工具DBeaver玩转DuckDB。

前面有说过，DuckDB的创建者一开始就放弃了分布式，然后就有同学提出质疑，DuckDB会有性能瓶颈。我只想说，目前DuckDB可以说是单机场景下大数据量分析的最佳选择。本文，我将为同学们演示DuckDB在百亿级数据量下的性能表现，我感觉我已经彻底魔怔了，百亿级数据量意味着什么？

相信很多同学都遇到过这样的场景，有一个上百万条数据的CSV文件，然后想做一些分析。这时我们有哪些选择呢？现在单机性能也都普遍很好了，所以对于百万级的数据量也是可行的。但是如果是千万级或者上亿级，恐怕就心有余而力不足了。这也确实是目前大多数人的选择，性能还可以忍受，但是需要会Python，最好还会Jupyter就更好了。把CSV文件的数据导入到数据库中使用，这样也是一个选择。但是数据量达到千万级就是在挑战数据库的性能了。那么有没有一种足够足够简单并且没有性能瓶颈的方式可以来做数据分析呢？

早就想要写一写DuckDB了，如果非要给这个早加一个时间，我希望是五年前（那个时候DuckDB才刚刚起步）。最初接触DuckDB只是把它当成嵌入式数据库SQLite的替代品，并且自认为SQLite经过这么多年的打磨与验证，现在就是无可替代般的存在（无知是阻碍我们进步的最大敌人）。然而当我一步步开始深入了解DuckDB的时候，我几乎是笑着完成，它完全颠覆了我对一个小小的数据库的认知。一切都不晚，一切都刚刚好！

在实际工作中，经常会是这样的情况，我们有些数据在CSV文件里面，有一些数据可能有以Parquet格式保存，还有数据是在Mysql数据库里面。当我们想要结合起来做分析的时候就会很麻烦。通常的做法会是搭建数仓，各类型数据都同步到数仓就可以统一使用了。这确实是很多企业的做法，但是对于个人分析或者数据量并没有那么多的情况下，我们该如何做分析呢？答案就是DuckDB。前面我们已经介绍了DuckDB对CSV和Parquet的使用，本文我讲为大家介绍如何用DuckDB直接连数据库。