mysql租房house查询_如何利用ClickHouse高速汇总查询MySQL数据

概要介绍

直连到MySQL的功能现在已被添加到ClickHouse中。所以可以直接从ClickHouse查询MySQL表中的数据。

ClickHouse是一个超高性能的海量数据快速查询的分布式实时处理平台，在数据汇总查询方面(如GROUP BY)，ClickHouse的查询更快，因此通常情况下在MySQL上进行聚合。

下面是在自己的虚拟环境中做的测试记录。既然是虚拟环境非生产环境，请看参考应用级别，而不是严格的测试。

准备测试样本数据

正确准备和测试大约1000万个数据项。#!/usr/bin/perlusestrict;usewarnings;srand(0);

my$RECORD_COUNT=10000000;

for(my$i=1;$i<=$RECORD_COUNT;$i++){my@field;push(@field,$i);

push(@field,sprintf("%08d\@example.com",$i));

push(@field,int(rand(5))+1);

push(@field,int(rand(10))+1);

push(@field,int(rand(100000))+1);

push(@field,int(rand(1000000))+1);

push(@field,int(rand(10000000))+1);

printjoin("\t",@field),"\n";

}

执行脚本以创建样本数据。这是约500 MB。$ ./makedata.pl > data.tsv

$ ls -lh data.tsv

-rw-rw-r-- 1 mikage mikage 512M Jan 18 07:44 data.tsv

$ head -2 data.tsv

1 00000001@example.com 1 8 9638 870466 5773036

2 00000002@example.com 4 7 36877 873905 7450951

使用 MySQL 测试

在MySQL中创建一个表并导入它。

由于似乎字符串数据比数字值更容易汇总，所以内容是数字的，但它们是可变的类型。

然后执行计算操作。mysql> LOAD DATA LOCAL INFILE 'data.tsv' INTO TABLE testdata;

Query OK,10000000 rows affected(44.98 sec)

Records: 10000000  Deleted: 0  Skipped: 0  Warnings: 0

mysql> SELECT data1,COUNT(*)FROM testdata GROUP BY data1;

+-------+----------+

| data1 | COUNT(*)|

+-------+----------+

|    1 |  2000453 |

|    2 |  1999993 |

|    3 |  1998988 |

|    4 |  1999013 |

|    5 |  2001553 |

+-------+----------+

5 rows in set(3.22 sec)

mysql> SELECT data2,COUNT(*)FROM testdata GROUP BY data2;

+-------+----------+

| data2 | COUNT(*)|

+-------+----------