simulate_create的博客

clickhouse支持PG表引擎，可以双向读写PG表。这个特性可以弥补clickhouse对数据管理方面的不足，例如数据的删除、事务、整表查询等，但正好PG擅长这些。因此在一个项目里使用这个两种数据库，是一个比较好的选择。

常用查询语句。请直接看目录，查看自己感兴趣的条目。

从远程 HTTP/HTTPS 服务器查询数据。这个引擎类似于文件引擎。（来自官方文档，见引用）简单来说，就是能从URL读、写数据，就像读写一个数据库一样。读是GET、写是POST。

使用celery做异步的clickhouse表导出，带任务去重和任务数控制，提供外部访问API。

但在少数情况下，如果你要查询的结果不幸分布在了两个不同的part里，那么合并就不会很彻底，也就是相同的主键会出现两个，结果就会出现两条了。其中：sumMap([method], [1]) AS method_Map 这部分的意思是给每个值都设置一个计数值，出现就记为1，sumMap会自动归并相同的key，同一个key对应value累加。一般要使用sumMerge/sumMapMerge 这样的xxxMerge函数来合并统计结果，相应的统计也要使用xxxState的函数进行统计。物化视图是可以逐层叠加的。

其实原因也很简单，Clickhouse的创始公司，Yandex，是俄罗斯最大的搜索引擎，其处理的数据也必然都是互联网的数据，我们面对的数据本质上是相同的。这里展示了存储了一天的数据量。SETTINGS index_granularity = 16384 这个是参考了Cloudflare的方案，因为日志量大集中，用较大的粒度可以更好的利用存储和提高压缩比，计算也更快。带来的第一个特性就是压缩特性，因为同一列的数据通常是相似的，因此相比行它们具有更高的压缩比，所以列数据库可以很方便的利用压缩减少存储占用。

使用tableau分析clickhouse里的数据。从安装到一些简单使用技巧。