介绍
许多数据库服务器都支持CSV数据传输,本文将介绍将CSV文件导入PostgreSQL的一种方法。
SQL聚合很困难!
我以前的文章展示了FlexyPool指标功能,所有与连接有关的统计信息均以CSV格式导出。
当涉及聚合表格数据时,SQL最好。 如果您的数据库引擎支持SQL:2003 Windows函数,那么您绝对应该利用此强大功能。
脚本风格
对于脚本编写,我主要依靠Python或Bash脚本编写。 Python功能强大且富有表现力,而Bash脚本甚至在Windows上也不需要太多依赖项。
脚本编写时间
这些是要导入的CSV文件:
$ ls -1 *.csv
concurrentConnectionRequestsHistogram.csv
concurrentConnectionsHistogram.csv
connectionAcquireMillis.csv
connectionLeaseMillis.csv
maxPoolSizeHistogram.csv
overallConnectionAcquireMillis.csv
overflowPoolSizeHistogram.csv
retryAttemptsHistogram.csv
所有这些文件都是Codahale直方图和计时器指标,这就是导入脚本的样子:
#!/bin/bash
function import_histogram(){
echo "Importing Histogram file: $2 to $1