![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
ClickHouse
文章平均质量分 76
ZikH~
熟悉Hadoop分布式架构,了解HDFS存储、Yarn运行以及MapReduce计算的流程。
熟悉Hive数据仓库管理工具,了解Hive Sql处理、分析数据。
熟悉Spark计算框架,了解RDD、任务提交执行机制、Spark常用算子以及Spark Core、 Spark Streaming、 Spark SQL 进行数据分析和计算。
熟悉Flink分布式大数据处理引擎,了解Execute方法、Flink算子操作、Flink算子操作。
熟悉Kafka分布式的发布—订阅消息系统,了解Kafka的topic操作、ISR列表、offset、ack机制
了解Hbase非关系型数据库,
展开
-
【ClickHouse】副本、分片集群 (六)
注意:我们演示副本操作只需要在hadoop101和hadoop102两台服务器即可,上面的操作,我们hadoop103可以你不用同步,我们这里为了保证集群中资源的一致性,做了同步。通过分片把一份完整的数据进行切分,不同的分片分布到不同的节点上,再通过Distributed表引擎把数据拼接起来一同使用。注意:ClickHouse的集群是表级别的,实际企业中,大部分做了高可用,但是没有用分片,避免降低查询性能以及操作集群的复杂性。副本只能同步数据,不能同步表结构,所以我们需要在每台机器上自己手动建表。原创 2024-06-21 16:38:22 · 952 阅读 · 1 评论 -
【ClickHouse】第三方工具DataGrip的使用、Clickhouse整合spark、Clickhouse整合flink、sparkcore方式、sparksql方式 (五)
方法提供的第三方工具蛮多的,它们提供了一些ClickHouse的接口。它可以是可视化界面、命令行界面或API,比如:Client libraries、Integrations、GUI、Proxies等等。原创 2024-06-21 16:23:09 · 210 阅读 · 1 评论 -
【ClickHouse】SQL 操作(Update 和 Delete、查询操作、alter 操作、导出数据) (四)
基本上来说传统关系型数据库(以MySQL为例)的SQL语句,ClickHouse基本都支持,这里不会从头讲解SQL语法,只介绍ClickHouse与标准SQL(MySQL)不一致的地方。3)支持各种JOIN,但是JOIN操作无法使用缓存,所以即使是两次相同的JOIN语句,ClickHouse也会视为两条新SQL。“重”的原因主要是每次修改或者删除都会导致放弃目标数据的原有分区,重建新分区。虽然可以实现修改和删除,但是和一般的OLTP数据库不一样,Mutation语句是一种很“重”的操作,而且不支持事务。原创 2024-06-20 19:05:18 · 541 阅读 · 1 评论 -
【ClickHouse】表引擎的使用、TinyLog、Memory、MergeTree、ReplacingMergeTree、SummingMergeTree (三)
所以 ReplacingMergeTree 能力有限, ReplacingMergeTree 适用于在后台清除重复的数据以节省空间,只会在各个分区内部进行去重,不能保证整个表中的数据都是唯一的。order by是MergeTree中唯一一个必填项,甚至比primary key还重要,因为当用户不设置主键的情况,很多处理会依照order by的字段进行处理(比如后面会讲的去重和汇总)。稀疏索引的好处就是可以用很少的索引数据,定位更多的数据,代价就是只能定位到索引粒度的第一行,然后再进行进行一点扫描。原创 2024-06-20 19:01:41 · 1273 阅读 · 0 评论 -
【 ClickHouse】 ClickHouse数据类型(整型、浮点型、布尔型、Decimal型、字符串、数组、时间类型)(二)
2)FixedString(N):固定长度N的字符串,N必须是严格的正自然数。当服务端读取长度小于N的字符串时候,通过在字符串末尾添加空字节来达到N字节长度。固定长度的可以保存一些定长的内容,比如一些编码,性别等但是考虑到一定的变化风险,带来收益不够明显,所以定长字符串使用意义有限。例如,将固定精度的数字转换为整数值,如时间用毫秒为单位表示,因为浮点型进行计算时可能引起四舍五入的误差。使用场景:一般数据值比较小,不涉及大量的统计计算,精度要求不高的时候。固定长度的整型,包括有符号整型或无符号整型。原创 2024-06-19 12:36:52 · 511 阅读 · 1 评论 -
【ClickHouse】简介入门、Clickhouse的特点、ClickHouse 的安装(一)
ClickHouse入门ClickHouse是俄罗斯的Yandex于2016年开源的列式存储数据库(DBMS),使用C++语言编写,主要用于在线分析处理查询(OLAP),能够使用SQL查询实时生成分析数据报告。ClickHouse的特点行式存储如图-1所示:图-1 行式存储列式存储如图-2所示:图-2 列式存储列式储存的好处1)对于列的聚合,计数,求和等统计操作优于行式存储。原创 2024-06-19 12:15:54 · 829 阅读 · 0 评论