列式数据库~clickhouse日常管理

最新推荐文章于 2023-02-23 10:24:08 发布
最新推荐文章于 2023-02-23 10:24:08 发布
阅读量2.1k 收藏
点赞数
原文链接：http://www.cnblogs.com/danhuangpai/p/10532860.html
版权
本文介绍了ClickHouse的日常管理，包括查看和设置变量、配置文件管理、内存优化以及数据同步策略。强调了避免单条插入、减少UPDATE/DELETE操作的重要性，并提供了监控后台操作的方法。此外，还提到了ClickHouse的DDL操作限制和程序调用方式，以及遇到的错误处理。
摘要由CSDN通过智能技术生成

clickhouse日常管理
一 变量相关
  1 查看变量
     system.setting相关表
  2 设置变量
     set variables= 请注意这里是session级别,如果想永久生效,必须修改配置文件
  3 变量文件分类
     config.xml
     说明 config.xml针对的是server级别的限制,包括不仅限于内存,复制集,分布式,数据目录等设置
     user.xml
     说明 user.xml针对的是用户级别的限制,主要包括用户增删查改的内存控制参数
 4 配置文件操作便利
   clickhouse会自动扫描,可以在配置文件中操作完进行查询.不用重启服务
5 配置变量优化
  user变量优化
  1 内存相关
  max_memory_usage ck整体会话限制,包括全部链接的全部会话内存使用量上限 默认10G
  max_bytes_before_external_group_by group by占用内存->针对查询 (如果需要使用max_bytes_before_external_group_by，建议将max_memory_usage设置为max_bytes_before_external_group_by大小的两倍)
  min_insert_block_size_rows, min_insert_block_size_bytes 当插入导致内存溢出时,可尝试调小
  config相关
  1 bind本地IP,调整datadir

  2 allow_experimental_multiple_joins_emulation  最新版本支持多表join参数
二 系列问题

     数据同步分为两种场景

    1 实时同步mysql数据

       方案 : can

最低0.47元/天 解锁文章
weixin_34014555
关注
ClickHouse学习小记--数据库表相关及其操作
qq_45141105的博客
06-06 2380
内置工具 ClickHouse有两种访问接口，其中TCP端口拥有更好的访问性能，而HTTP端口则拥有更好的兼容性。但是在日常应用的过程中，更推荐使用基于它们之上实现的封装接口。支持两个典型的封装接口，其中CLI接口是基于TCP封装的，它拥有交互式和非交互式两种运行模式。而JDBC接口是基于HTTP封装的，是一种标准的数据库访问接口。下面是ClickHouse内置的几种实用工具。 ClickHouse内置的实用工具 ClickHouse除了提供基础的服务端与客户端程序之外，还内置了clickhouse-loc
ClickHouse 学习
银滴子的博客
09-24 1676
DDL 添加数据库字段 alter table user_tags add column last_subject String; alter table user_tags add column class_trust_valids Int8; 删除列 ALTER TABLE [db].name [ON CLUSTER cluster] DROP COLUMN ...
clickhouse常见异常以及错误码解决
weixin_57205390的博客
02-23 2万+
解决：合理设置max_concurrent_queries，max_bytes_before_external_sort，background_pool_size，max_memory_usage，max_memory_usage_for_all_queries，max_bytes_before_external_group_by，尤其重要的是max_memory_usage_for_all_queries 【 单机最大的内存使用量可以设置略小于机器的物理内存(留一点内操作系统)】。
ClickHouse数据查询
花&败
04-28 3649
1.查询语法 [WITH expr_list|(subquery)] SELECT [DISTINCT] expr_list [FROM [db.]table | (subquery) | table_function] [FINAL] [SAMPLE sample_coeff] [ARRAY JOIN ...] [GLOBAL] [ANY|ALL|ASOF] [INNER|LEFT|RIGHT|FULL|CROSS] [OUTER|SEMI|ANTI] JOIN (subquery)|table (
clickhouse 同步mysql数据
aaaak_的博客
07-01 996
clickhouse 同步mysql数据
复杂查询导致clickhouse宕机
null_equals的专栏
12-04 4206
背景 最近在研究clickhouse，发现了不少坑，有些坑是官方的无法解决，有些是配置的问题。配置问题及优化的问题就需要我们不断的调整配置以及优化sql。优化sql最主要是理解clickhouse是如何查询的，我们才能找到瓶颈点，找到优化方法。 问题 在8G内存4核CPU的机器上，单节点的默认配置的clickhouse，保存数据8000W+，一个复杂的多表关联的查询，每次查询到98%的时候，clickhouse就自动宕机了，报错如下： Exception on client: Code: 32. DB::E
ClickHouse-实时分析型数据库.pdf
最新发布
07-19
- **定义**：ClickHouse是一款专为在线分析处理查询（Online Analytical Processing, OLAP）设计的列式数据库管理系统（Column-Oriented Database Management System, DBMS）。它能够高效地处理大规模数据集的实时...
ClickHouse可视化工具DBM-1.4.0-Mac
08-18
ClickHouse是一款高性能、分布式列式数据库，主要用于在线分析处理（OLAP）场景。DBM，全称为Database Manager，是一款专为ClickHouse设计的可视化管理工具，帮助用户更方便地管理和操作ClickHouse数据库。DBM 1.4.0...
ClickHouse快速入门
weixin_44351279的博客
07-14 1153
clickhouse快速上手，clickhouse快速入门，clickhouse基础知识，clickhouse简介
clickhouse（十二、踩坑之路）
yyoc97的专栏
09-14 2万+
Q1 DB::Exception: Cannot create table from metadata file /data/clickhouse/metadata/default/dwd_test.sql, error: DB::Exception: The local set of parts of table default.dwd_test doesn’t look like the set of parts in ZooKeeper: 65.88 million rows of 85.04 mi.
成功解决“Connection failed”错误
强哥的微博
01-10 2万+
成功解决“Connection failed”错误 出现“Connection failed”错误，如下图： 输入的密码是对的老是让再次输出
Clickhouse集群应用、分片、复制
qq_36079077的博客
10-10 1587
https://www.jianshu.com/p/20639fdfdc99 Clickhouse集群应用、分片、复制 1 简介 通常生产环境我们会用集群代替单机，主要是解决两个问题： 效率 稳定 如何提升效率？一个大大大任务，让一个人干需要一年，拆解一下让12个人同时干，可能只需要1个月。对于数据库来说，就是数据分片。 如何提升稳定性？所谓稳定就是要保证服务时刻都能用，也常说高可用。这就像团队里...
ClickHouse常用函数速查大全
haveanybody的博客
07-31 8828
ClickHouse主要有两种函数：常规函数和聚合函数，除此之外，还有 ‘arrayJoin’ 等特殊函数，我们将分别介绍。需要注意的是ClickHouse具有强类型限制，换句话说，它不进行类型之间的隐式转换，每个函数都适用于特定的类型参数。这意味着有时需要使用类型转换函数。 如果下面函数执行报错，则可能是clickhouse版本不支持。 toTypeName(0) 1. 算术函数 对于所有算术函数，计算结果类型向上兼容。 SELECT toTypeName(0), toTypeName(0 + 0), t
ClickHouse查询语句详解
m0_67401055的博客
08-01 6154
下面我们会逐一介绍各个子表达式，主要介绍和标准SQL不同的部分，如果某条语句执行报错，则可能是clickhouse版本不支持。
ClickHouse设置全局变量
冰川的博客
02-19 4024
问题背景 创建本地复制表时ENGINE = ReplicatedMergeTree('/clickhouse/default/tables/ontime_local/{shard_name}', '{replica}', FlightDate, (Year, FlightDate), 8192); 使用大括号表示会从配置文件中获取宏定义的变量，若未添加该标签会报错 报错信息 DB::Exception: No macro 'shard_name' in config while processing sub
ClickHouse监控指标
一条大河
01-10 754
ClickHouse重要监控指标及其说明解释
Failed to connect to 127.0.0.1:27017, reason: errno:111 Connection refused（MongoDB启动异常）
热门推荐
李武杨
12-25 2万+
mongdb启动异常
Clickhouse sql语句添加分号报错 DB::Exception: Syntax error (Multi-statements are not allowed)
基咯咯
06-20 1万+
问题描述 使用Clickhouse的客户端查询数据时末尾添加"；"报错， 执行语句： select * from system.settings where name='max_execution_time' ; 报错信息如下： Code: 62, e.displayText() = DB::Exception: Syntax error (Multi-statements are not allowed): failed at position 92 (end of query) (line
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值