前言
我记得在我面试的时候,我的面试官(也是我后来的老大)钱总问我:“你们这个查询系统,在面对大数据量的时候,除了mysql数据库,还有什么别的选择吗?”我当时回答,“MongoDB。”
现在进了公司,发现这个问题的正解是——Clickhouse。
ClickHouse是近年来备受关注的开源列式数据库,主要用于数据分析(OLAP)领域。目前国内社区火热,各个大厂纷纷跟进大规模使用:
- 今日头条 内部用ClickHouse来做用户行为分析,内部一共几千个ClickHouse节点,单集群最大1200节点,总数据量几十PB,日增原始数据300TB左右。
- 腾讯内部用ClickHouse做游戏数据分析,并且为之建立了一整套监控运维体系。
- 携程内部从18年7月份开始接入试用,目前80%的业务都跑在ClickHouse上。每天数据增量十多亿,近百万次查询请求。
快手内部也在使用ClickHouse,存储总量大约10PB, 每天新增200TB, 90%查询小于3S。引用自https://zhuanlan.zhihu.com/p/98135840
ClickHouse是一个:来自俄罗斯的、性能彪悍的、面向大数据分析、列式存储的的开源型数据库。
来自俄罗斯
ClickHouse是Yandex在2016年6月15日开源的一个专门面向数据分析的数据库。Yandex大家肯定没有听过,这个公司是在俄罗斯做搜索引擎的,市场覆盖率达到了俄罗斯全境68%(不过我寻思俄罗斯本来也