clickhouse
文章平均质量分 72
qq_duhai
好记性不如烂笔头...
展开
-
CH单库数据迁移到读写分离模式
通过上面命令创建了数据库后,集群的两个节点就都有这个数据库了(执行命令的节点新建数据库后将命令写入ZK中,另外一个节点从ZK中获取信息创建数据库)可以从ch的metadata文件夹/data/clickhouse/metadata获取,也可以直接在DBeaver连接单节点库获取表sql。上面语句中{new_database_name}替换成新的数据库名称,{cluster_name}替换成集群名称。节点增加配置如下图所示(两个clickhouse实例都是一样的)执行完成后集群的两个节点的表就都有数据了。..原创 2022-07-20 16:29:07 · 651 阅读 · 0 评论 -
Clickhouse最佳实战之ClickHouse单机部署及运维指南
这个其实不是很重要,rpm包中有一个存放了test数据的包,即使不安装也可以使用clickhouse服务.直接删掉clickhouse-test-*的那个包就可以了。在/etc/security/limits.conf、/etc/security/limits.d/90-nproc.conf。修改服务器的配置文件/etc/clickhouse-server/config.xml,第65行,放开注释即可。下载地址:https://packagecloud.io/Altinity/clickhouse。转载 2022-09-15 09:40:40 · 2100 阅读 · 0 评论 -
【ClickHouse】 日志清理方法(query_log、query_thread_log)
一、背景ClickHouse中的query_log、query_thread_log、trace_log等日志表,在开启之后,如果一段时间没有清理,这些日志表会占用大量的存储空间,query_log是最常用的查询日志,它记录了ClickHouse服务中所有已经执行的查询记录,下图为query_log表中的部分内容。ClickHouse默认不清理日志,这里需要自己配置。二、解决方案查了些资料发现,大家基本都是通过设置相应日志表的TTL来清理,如ALTER TABLE system.query转载 2022-04-13 15:47:11 · 6095 阅读 · 4 评论 -
springboot2、HikariCP连接池的JdbcTemplate的clickhouse连接
pom.xml<!-- clickhouse --> <dependency> <groupId>ru.yandex.clickhouse</groupId> <artifactId>clickhouse-jdbc</artifactId> <version>0.2.4</version> </dependency> <dependency>原创 2021-12-03 15:01:38 · 4922 阅读 · 1 评论 -
Clickhouse 支持毫秒 纳秒数据 Datetime64
允许存储时间instant间,可以表示为日历日期和一天中的时间,具有定义的亚秒精度刻度尺寸(精度):10-精度 秒语法:DateTime64(precision, [timezone])在内部,存储数据作为一些 ‘ticks’ 自纪元开始(1970-01-01 00:00:00UTC)作为Int64. 刻度分辨率由precision参数确定。 此外,该 DateTime64 类型可以存储时区是相同的整个列,影响如何的值 DateTime64 类型值以文本格式显示,以及如何解析指定为字符串转载 2020-11-12 14:39:26 · 9703 阅读 · 1 评论 -
clickhouse查询数据补全
ClickHouse数据查询:https://cookcode.blog.csdn.net/article/details/108886972 上面文章中写了一些基本的clickhouse的查询,但是如果数据查询补全的话,有一个查询没有教怎么用,这篇文章主要是讲:[WITH FILL] [FROM expr] [TO expr] [STEP expr]这一段的使用方式 1.正常查询数据为SELECT metric, toStartOfInterval(timesta...原创 2020-10-15 16:32:18 · 3512 阅读 · 4 评论 -
clickhouse单节点安装教程完整版(附带安装包)
1. 硬件要求:服务器:1台操作系统:CentOS release 6.4及以上内存:64G及以上硬盘:1T及以上2. 部署模式clickhouse部署单机单节点模式3.clickhouse资源配置clickhouse单个节点的资源配置:内存:32G,磁盘:500Gclickhouse安装手册1.单机安装1.1.环境准备1.1.1.主机配置(根据自身情况)192.168.12.11 os-server11 centos 6.6 内存128G 磁盘1T1.1.原创 2020-09-22 17:06:51 · 1947 阅读 · 1 评论 -
ClickHouse函数整理(详细)
1、日期类函数1.1 时间或日期截取函数(to)—— 返回非日期函数 用途 举例 结果 toYear() 取日期或时间日期的年份 toYear(toDateTime(‘2018-12-11 11:12:13’)) toYear(toDate(‘2018-12-11’)) 返回 2018 返回 2018 toMonth() 取日期或时间日期的月份 toMonth(toDateTime(‘2018-12-11 11:12:13’)) toMonth转载 2020-09-17 16:02:36 · 2461 阅读 · 0 评论 -
clickhouse(三、查询同步远程集群),可以借助这个功能实现数据迁移
需求在使用ck时,我们难免会遇到跨集群的数据传输,比如数据备份,不同环境同步数据等。之前试过查询出来再写入,数据量少的情况还能接受,超过10w这样效率就显得很低了,而大数据环境下10w当然是不能接受的。所以ck也提供了一种比较高效的方式,直接跨集群传输,减少了io次数,进而大幅度提升效率。方案ck提供remote函数,允许我们去查询远程的服务。(这里要吐槽下ck的文档,目录结构的划分实在是很难找到相关函数)remote('addresses_expr', db, table[, 'user'[转载 2020-09-15 15:54:43 · 1497 阅读 · 0 评论 -
Clickhouse 内存问题
User class threw exception: ru.yandex.clickhouse.except.ClickHouseException: ClickHouse exception, code: 241, host: 10.121.8.8, port: 8123; Code: 241, e.displayText() = DB::Exception: Memory limit (for query) exceeded: would use 9.31 GiB (attempt to alloca原创 2020-07-06 10:28:28 · 6732 阅读 · 1 评论 -
Clickhouse 基础知识 - 函数
-------------------------------------------------------------------------------------------------------------------Clickhouse基础知识:函数学习---------------官址学习文档:https://clickhouse.yandex/docs/zh/-----...转载 2019-11-18 09:37:35 · 6057 阅读 · 0 评论 -
ClickHouse函数
SELECT DISTINCT VisitDate, avg(`Hour`), COUNT(ClientID), plus(VisitDate, 1)FROM visitsGROUP BY VisitDate-- 计算数字的总和。 您还可以将Date或DateTime与整数进行相加。在Date的情况下,添加的整数意味着添加相应的天数。对于DateTime,这意味这添加相应的秒...原创 2019-08-01 16:01:08 · 6657 阅读 · 0 评论 -
clickHouse之SQL语法之select(—)
selectSELECT [DISTINCT] expr_list [FROM [db.]table | (subquery) | table_function] [FINAL] [SAMPLE sample_coeff] [ARRAY JOIN ...] [GLOBAL] ANY|ALL INNER|LEFT JOIN (subquery)|table US...转载 2019-07-09 15:30:34 · 2392 阅读 · 0 评论 -
clickhouseSQL语法
CREATE#方式1CREATE TABLE [IF NOT EXISTS] [db.]table_name [ON CLUSTER cluster]( name1 [type1] [DEFAULT|MATERIALIZED|ALIAS expr1], name2 [type2] [DEFAULT|MATERIALIZED|ALIAS expr2], ...) ...转载 2019-07-09 15:16:44 · 2907 阅读 · 0 评论