- 博客(13)
- 收藏
- 关注
RSS订阅原创 使用HUE分析影响impala sql 执行效率的因素
HUE（Hadoop User Experience）是一个开源的、基于Web的交互式分析和数据操作平台，它为使用Hadoop生态系统（如：Hadoop、Hive、Impala、Spark等）的用户提供了友好的用户界面。HUE的主要目标是让用户能够更轻松地访问和分析数据，同时也为开发者提供了一个集成的环境，以便于编写、测试和部署数据处理任务。HUE的核心功能包括：- Query Editors：支持Impala、Hive、Spark等的SQL查询编辑器，帮助用户编写、执行和优化查询。
2023-05-01 22:45:00
635
原创 impala入门
Impala是一个用于Hadoop生态系统的高性能、低延迟的分布式SQL查询引擎，它允许用户在Hadoop集群上进行交互式的分析查询。Impala的目标是提供一个具有类似传统数据仓库的查询性能和功能的引擎。Impala的主要组件包括：1. Impalad：Impala守护进程（Impalad）是Impala的核心组件，负责在集群中的各个节点上执行查询。每个Impalad进程都可以处理客户端连接、元数据操作以及在本地数据节点上执行查询片段。
2023-04-30 23:00:00
1346
原创 Impala SQL的Join优化，Explain执行计划分析
我们逐句分析Text Plan结果，并根据分析结果来进行JOIN优化。1. 行5和行7：SCAN HDFS操作表示在employee和salary表上进行全表扫描。全表扫描可能会导致大量数据读取，从而影响查询性能。为了减少扫描的数据量，可以考虑使用分区表或在表上创建索引。2. 行6和行8：此处表示在employee表上应用了年龄过滤条件，以及在salary表上应用了薪水过滤条件。如果这些条件过滤掉了大量数据，说明查询条件有效。
2023-04-29 12:30:00
796
原创 ClickHouse集群运维实践
ClickHouse集群运维策略包括监控方案，包括metric采集、报警策略、图形化报表。业界常用的监控方案一般是基于prometheus + grafana生态。由clickhouse-exporter (node-exporter) + prometheus + grafana组成的监控方案。此外，ClickHouse还有多种分布式集群方案，例如：MergeTree + Distributed方案，它利用了Distributed表的特性+MergeTree表的特性，分布式表不存储数据，数据来自本地表
2023-04-28 23:45:00
1537
原创 ClickHouse高可用和故障切换
ClickHouse支持多种高可用和故障切换方案。例如，可以使用复制表来实现数据的高可用性。复制表可以在多个服务器上存储相同的数据，当一个服务器发生故障时，其他服务器仍然可以提供服务。此外，还可以使用ZooKeeper来管理复制表的元数据，以便在故障发生时自动切换到可用的服务器。也可以使用负载均衡器来实现故障切换。负载均衡器可以将客户端请求分发到多个服务器，当一个服务器发生故障时，负载均衡器会自动将请求转发到其他可用的服务器。
2023-04-27 23:45:00
611
原创 ClickHouse系统表和监控指标、监控工具和平台
有许多常用的监控工具和平台可以用来监控ClickHouse服务器的状态和性能。这些工具和平台包括：Prometheus：一个开源的监控系统，可以收集和存储ClickHouse服务器的指标数据。Grafana：一个开源的仪表板和可视化平台，可以用来展示ClickHouse服务器的指标数据。Zabbix：一个开源的监控解决方案，可以用来监控ClickHouse服务器的状态和性能。Nagios：一个开源的监控系统，可以用来监控ClickHouse服务器的状态和性能。
2023-04-27 23:15:00
2425
原创 ClickHouse与其他数据库的对比
与传统的关系型数据库 (RDBMS) 相比，ClickHouse 采用了列式存储方式，能够更有效地压缩数据，提高查询效率。此外，ClickHouse 支持多核并行处理和多服务器分布式处理，能够快速完成复杂的查询任务。但是，ClickHouse 没有完整的事务支持，不适用于需要事务性保证的应用场景。与其他类型的列式数据库相比，ClickHouse 也有一些独特的优点。它支持数据复制和数据完整性，能够在多个节点之间复制数据，确保数据的完整性和一致性。此外，ClickHouse 语法上接近 ANSI SQL
2023-04-26 23:45:00
2181
原创 ClickHouse中引擎相关知识
1. 了解ClickHouse的基础架构和存储引擎。2. 学习ClickHouse的MergeTree系列引擎，包括MergeTree、ReplicatedMergeTree、CollapsingMergeTree等。3. 研究ClickHouse的列存储编码、数据压缩策略等。4. 学习ClickHouse的计算引擎，包括向量化执行模型、SIMD编码、Codegen等。
2023-04-25 23:30:00
947
原创 ClickHouse性能优化
列式存储是一种数据库存储技术，它将数据按列而不是按行存储。这意味着每一列的数据都存储在一起，而不是每一行的数据存储在一起。这种存储方式对于联机分析处理(OLAP)非常有用，因为它可以避免读取不必要的列，从而避免昂贵的磁盘读取操作。此外，将同一列的不同值存储在一起通常会导致更好的压缩比率（与行式系统相比），因为在实际数据中，相邻行的同一列通常具有相同或不太多的不同值。在ClickHouse中，主键和索引的定义对查询性能有很大影响。你可以在创建表时使用`CREATE TABLE`语句来定义主键和索引。
2023-04-23 08:15:00
1745
原创 ClickHouse简单入门
ClickHouse是一个开源的列式数据库管理系统（DBMS），用于联机分析处理（OLAP），它允许用户使用SQL查询实时生成分析报告。它最初是为Yandex Metrica的网络分析而构建的，通常以其高插入速率、快速分析查询和类似SQL的方言而闻名。ClickHouse的主要特点包括：- 真正的列式DBMS：值与值之间没有任何存储。- 线性可扩展性：可以通过添加服务器来扩展集群。- 容错性：系统是一个由多个副本组成的分片集群。- 能够存储和处理PB级别的数据。- 支持SQL。
2023-04-22 06:45:00
312
1
原创 5. ClickHouse性能优化
通过对SQL查询进行适当的优化，例如使用索引、调整JOIN操作、使用物化视图等方法，我们可以提高查询性能，降低资源消耗。在ClickHouse中，EXPLAIN命令可以用于分析查询执行计划，帮助我们发现性能瓶颈，从而对复杂SQL进行优化。查询执行计划是数据库系统在执行查询前生成的一个详细的操作步骤，包括表扫描、索引查找、排序等操作。SQL查询优化是通过分析和调整查询语句、表结构、索引等因素，提高查询性能的过程。这样，我们将聚合查询和窗口函数分离，分别处理，从而降低了查询的复杂性和资源消耗。
2023-04-21 22:15:00
1166
2
原创 3. ClickHouse数据类型和表结构
ClickHouse支持多种数据类型，如Int8、UInt32、Float64、String、DateTime等。了解这些数据类型的特点以及在何时应该使用它们。
2023-04-18 20:53:02
838
1
原创 5.7.1、ClickHouse性能调优 - 配置和优化表引擎-了解表引擎的基本概念
表引擎是ClickHouse中的一个核心概念，它决定了数据在表中的存储方式、访问方式和处理方式。不同的表引擎在性能、功能和数据一致性等方面具有不同的特点。根据业务需求和场景选择合适的表引擎是优化ClickHouse性能的关键。
2023-04-14 21:14:39
474
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人