https://www.bilibili.com/video/BV1tB4y1p7j7?spm_id_from=333.337.search-card.all.click&vd_source=fa36a95b3c3fa4f32dd400f8cabddeaf
为什么从ES到Clickhouse ?
- 写入性能。潮汐性日志写入,将CPU打到80%
- 索引的开销。倒排索引是数据量增加一倍
- 非SQL。运营成本
需求
- 低成本
- 高性能
- 支持半结构化数据
Clickhouse结果
- 节省40%资源
- p90查询延迟低于1s
- 调整一个参数减少merge次数
- 动态字段使用Map
- ZSTD比默认编码多节省60%的资源空间
Map不比两个arr快
- 多读很多冗余数据(Avoid reading unnecessary granules,Still read all elements in map)
- 没有索引
B站添加了一个隐式列类型,按照key生成隐式列。 整体性能提升90%。这种场景不适合将整个map存储进来,所以可以把原生map也存进来。