ClickHouse简介

一、概述

ClickHouse是一个用于联机分析(OLAP)的列式数据库管理系统(DBMS)。它是由俄罗斯公司Yandex于2016年6月15日开源的一个项目,简称为CH。其处理数据的速度比传统方法快 100-1000 倍。​

 

二、适应场景

  1. 数据批量导入(数据底层会异步做数据同步,少量多次的插入会比较耗资源)

  2.  少修改或者不修改当前数据(ch修改数据会重写整个partition,较为耗资源)

  3.  高时效、低频率查询(由于ch执行的时候会调用一半的CPU,追求极致的时效)

  4.  查询结果多行少列(ch是列式数据库)

  5.  无事务要求,一致性要求低(clickhouse不支持事务)

 

三、优缺点

优点:

  • 查询速度快,单次查询会利用一半的CPU去进行

  • 压缩特性优秀,ch有着很好的压缩算法

  • 支持SQL语句(与标准SQL略有不同)

  • 集群的扩展性能比较好

  • 数据写入性能优越,能达到50-200M/s

  • 数据按列存储,并按向量进行处理,能高效的使用CPU

缺点:

  • 不支持事务(2021路线图中含简单实现事务)

  • 不支持高并发(官方建议qps为100)

  • 不适合多表JOIN关联(JOIN的性能目前不是很好)

  • 聚合结果必须小于一台机器的内存

 

四、性能

  1. 数据写入性能:写入速度非常快,50-200M/s,对于大量的数据更新非常适用

  2. 单次查询性能:单次查询会使用一半的CPU,所以单次查询的性能非常的优越。但是聚合结果必须要小于机器内存,否则会内存溢出​。根据个人测试,亿级数据count在50ms以内,后续也会写出测试文档。

  3. ​批量查询性能:Clickhouse快是因为采用了并行处理机制,即使一个查询,也会用服务器一半的CPU去执行,所以ClickHouse对于批量查询的性能会比较差。


 

 

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
数据分析职业是一个多金的职业,数据分析职位是一个金饭碗的职位,前景美好,但是要全面掌握大数据分析技术,非常困难,大部分学员的痛点是不能快速找到入门要点,精准快速上手。本课程采用项目驱动的方式,以Spark3和Clickhouse技术为突破口,带领学员快速入门Spark3+Clickhouse数据分析,促使学员成为一名高效且优秀的大数据分析人才。学员通过本课程的学习,不仅可以掌握使用Python3进行Spark3数据分析,还会掌握利用Scala/java进行Spark数据分析,多语言并进,力求全面掌握;另外通过项目驱动,掌握Spark框架的精髓,教导Spark源码查看的技巧;会学到Spark性能优化的核心要点,成为企业急缺的数据分析人才;更会通过Clickhouse和Spark搭建OLAP引擎,使学员对大数据生态圈有一个更加全面的认识和能力的综合提升。真实的数据分析项目,学完即可拿来作为自己的项目经验,增加面试谈薪筹码。课程涉及内容:Ø  Spark内核原理(RDD、DataFrame、Dataset、Structed Stream、SparkML、SparkSQL)Ø  Spark离线数据分析(千万简历数据分析、雪花模型离线数仓构建)Ø  Spark特征处理及模型预测Ø  Spark实时数据分析(Structed Stream)原理及实战Ø  Spark+Hive构建离线数据仓库(数仓概念ODS/DWD/DWS/ADS)Ø  Clickhouse核心原理及实战Ø  Clickhouse engine详解Ø  Spark向Clickhouse导入简历数据,进行数据聚合分析Ø  catboost训练房价预测机器学习模型Ø  基于Clickhouse构建机器学习模型利用SQL进行房价预测Ø  Clickhouse集群监控,Nginx反向代理Grafana+Prometheus+Clickhouse+node_exporterØ  Spark性能优化Ø  Spark工程师面试宝典       课程组件:集群监控:福利:本课程凡是消费满359的学员,一律送出价值109元的实体书籍.

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

sileiH

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值