python期货数据 库_如何用python或者基于vnpy框架将期货tick数据聚合成1分钟数据呢？...

同意楼上一些答主的看法，数据量大的情况下用python或pandas不是很好的solution。

DolphinDB应该是目前处理tick级金融数据最好的数据库系统之一，甚至可以拿掉之一。如果题主的tick数据是历史数据，而且已经存放在DolphinDB数据库中，可以给出一组我们测试过的性能指标。美国股票市场一个月的level 1 tick data，大约60亿条记录(原始的csv文件约290G，数据库压缩后约50G)，在一台Dell R730D (24核cpu，256G内存，10个10000RPM HDD)服务器上，转化成分钟级数据(6000万条)，并写入磁盘，耗时约37秒。如果原始数据按天存储在csv中，直接并行加载csv文件，并转化成分钟级数据，耗时约10分钟。

如果是实时的行情数据，DolphinDB提供了流数据处理接口，通过内置的聚合引擎，无需编程，即可将tick data转化成任意精度(包括分钟级)的K线。聚合引擎的教程参考 dolphindb/Tutorials_CN。流数据处理的性能可以参考浙江智臾科技有限公司：DolphinDB在工业物联网的极速应用：单服务器每秒5600W指标写入。

DolphinDB是我司推出的分布式时序数据库，利益相关。有兴趣的用户可以下载试用版自行验证。