clickhouse
文章平均质量分 66
颍天
路漫漫其修远兮吾将上下而求索
展开
-
Clickhouse中替换row_number()
前言今天同事在使用ck的时候需要对查询的结果添加行号,当然我们第一时间想到的肯定是row_number(),但是ck的row_number()还在测试中,需要设置参数才可以用,这对于jdbc来说就是一场灾难。解决办法ck中有个rowNumberInAllBlocks()函数,作用是返回此函数处理的所有块内的递增行号。所以我们可以这样写: select rowNumberInAllBlocks(),* from test.test limit 100但是返回的下标是从0开始,如果你想从1开始,你原创 2021-06-25 12:31:01 · 2406 阅读 · 1 评论 -
clickhouse SLB 服务搭建
文章目录前言nginx安装nginx配置使用application.yml文件配置spring boot 的config类配置文件前言最近在使用flink消费kafka的数据同步到clickhouse,为了保证高可用,特此查了一下资料,网上大部分都是使用的BalancedClickhouseDataSource,但是这个包虽然可以做到一定程度的负载均衡,但是无法做到故障转移。有兴趣可以去看下BalancedClickhouseDataSource的源码解析:https://blog.csdn.net/a原创 2021-06-16 12:12:45 · 958 阅读 · 1 评论 -
Clickhouse负载均衡客户端BalancedClickhouseDataSource源码分析
文章目录BalancedClickhouseDataSource源码分析结论BalancedClickhouseDataSource源码分析BalancedClickhouseDataSource的完整路径是ru.yandex.clickhouse.BalancedClickhouseDataSource,源码主要包括三部分,构造方法、获取连接、以及生成可用的地址列表。BalancedClickhouseDataSource实现了javax.sql.DataSource,参数中allUrls是构造方法原创 2021-06-16 11:58:20 · 4009 阅读 · 0 评论 -
clickhouse开窗函数-全解
详解开窗函数用法-- 当前版本21.4开窗函数功能还处于试验阶段,所有需要打开如下设置set allow_experimental_window_functions = 1;aggregation-- 先看一个简单的例子 通过count开窗进行逐层计数,其中intDiv(number, 3)表示除3向下取正select number, count() over (partition by intDiv(number, 3) order by number rows unbounded pre转载 2021-05-20 11:00:01 · 7081 阅读 · 6 评论 -
clickhouse的常用日期函数
时间获取获取当前时间戳:select toUnixTimestamp(now())获取指定时间的时间戳:select toUnixTimestamp('2021-05-11 14:37:37')获取当前日期时间:select now()获取当前日期:select today()获取昨日日期:select yesterday()时间转换日期时间转日期:select toDate('2021-05-11 14:31:31')日期转时间戳:select toUnixTimestamp(toDat原创 2021-05-12 11:00:16 · 14090 阅读 · 1 评论 -
clickhouse的系统表
文章目录前言系统表system.asynchronous_metricssystem.clusterssystem.columnssystem.databasessystem.detached_partssystem.dictionariessystem.eventssystem.functionssystem.graphite_retentionssystem.mergessystem.metricssystem.metric_logsystem.partssystem.part_logsystem.pr原创 2021-04-21 09:40:58 · 2216 阅读 · 0 评论 -
clickhouse的常用数据类型
文章目录数据类型整型浮点数BooleanString和FixedString(N)UUIDDate和DateTime数据类型整型整型包括有符号整型或⽆符号整型有符号整型范围:Int8 - [-128 : 127]Int16 - [-32768 : 32767]Int32 - [-2147483648 : 2147483647]Int64 - [-9223372036854775808 : 9223372036854775807]⽆符号整型范围:UInt8 - [0 : 255]U原创 2021-04-20 09:42:21 · 1089 阅读 · 0 评论 -
clickhouse配置查询记录query_log
文章目录前言配置query_log前言最近在使用clickhouse中,看到官方文档上可以配置query_log,但是文档上写的配置比较模糊,特此记录一下具体配置方法,以下配置针对的是集群中所有机器。配置打开clickhouse的users.xml文件,在profiles中加入<log_queries>1</log_queries>打开config.xml文件,在yandex中加入query_log的配置:<query_log> <datab原创 2021-04-16 18:05:35 · 4267 阅读 · 0 评论 -
clickhouse常用操作命令
文章目录前言基本操作客户端常用参数多行查询常用的sql语法导入csv数据导入数据时忽略错误导出csv数据删除分区查看表大小执行sql文件查看分区信息查看后台进程杀死后台进程前言在日常使用clickhouse中,会用到很多命令,特此整理记录一下。以下大部分内容都来自clickhouse_中文文档.pdf。文档链接:https://pan.baidu.com/s/1Ai33BE6jClIs9kMDElv5Yg 提取码:pp7h基本操作在我们日常使用clickhouse中,用的最多的应该就是客户原创 2021-04-15 17:32:17 · 11976 阅读 · 0 评论 -
ClickHouse连接超时的解决方法
在通过ClickHouse官方驱动使用java代码连接数据库的时候,有时由于ClickHouse服务器在高负载下出现滞后以及ClickHouse服务器和JDBC驱动程序的超时设置不同所致。当我们有很多选择查询时,ClickHouse服务器的性能将大大降低,简单查询将运行30秒以上,从而导致JDBC驱动程序超时。出现报错:ClickHouse exception, code: 159, host: 10.100.xx.xxx, port: 8123; Read timed out解决方法:在连接的路径后转载 2021-04-15 17:29:52 · 9264 阅读 · 1 评论 -
clickhouse on cluster设置
文章目录前言解决办法前言在平常使用clickhouse中会有一些建表,删表等操作,但是对于整个集群来说每台服务器都需要建表。在ClickHouse集群中,我们可以在DDL语句上附加ON CLUSTER <cluster_name>的语法,使得该DDL语句执行一次即可在集群中所有实例上都执行,简单方便。但是需要一些配置才行,如果不配置在使用这个语法的时候会报错:Code: 139, e.displayText() = DB::Exception: There is no Distribute原创 2021-04-08 12:34:37 · 5868 阅读 · 0 评论 -
clickhouse删除表的问题
文章目录前言测试解决办法前言在日常使用clickhouse的时候,肯定会遇到删除表的操作,删除表的命令:DROP TABLE IF EXISTS test.test。有时候删除后表又想马上重建表,这时候你会发现相同表结构的表创建不了,以下就来测试一下。测试本地表建表语句:create table test.test(id Int64 comment 'id',user_id Int64 comment '用户ID')ENGINE = MergeTree() order by id SETTI原创 2021-04-08 10:22:55 · 25174 阅读 · 5 评论 -
使用spark将数据写入到clickhouse报Broken pipe错误
文章目录前言解决办法前言最近在使用spark将数据写入clickhouse中,中间也遇到了一些问题,报错如下:[ERROR 2019-08-15 11:19:12 (com.ly.data.ysck.tool.CKTool:47)] 插入异常ru.yandex.clickhouse.except.ClickHouseUnknownException: ClickHouse exception, code: 1002, host: 172.20.89.26, port: 17133; Broken p原创 2021-04-06 16:57:53 · 3360 阅读 · 0 评论 -
使用waterdrop将Hive中的数据导入ClickHouse
文章目录前言waterdrop1)准备环境2)waterdrop下载和解压3)更改启动目录hive2clickhouse1)通用配置2)编写脚本3)部署和运行前言最近有一个需求需要把hive的数据同步到clickhouse,而且数据量还比较大,所以使用导出csv再导入clickhouse的那种方式并不适合。由于公司使用的服务器是某云服务器,Hadoop的底层不是使用的是原生的hdfs,导致没法使用datax。waterdropwaterdrop的官方地址:https://interestinglab原创 2021-04-06 16:17:48 · 2382 阅读 · 0 评论 -
clickhouse配置多块磁盘
文章目录前言集群配置使用方法前言最近让运维同学新搭了一个clickhouse集群,每台服务器都配置了多块磁盘,但是使用的时候还是按照以前的方式是使用的,导致系统盘空间不够。特此记录一下配置和使用方法。集群配置执行lsblk命令,可以看到本地机器的磁盘信息:主要需要修改的地方是config.xml文件,在配置文件中插入以下格式的语句:<!-- 存储路径 --><storage_configuration> <disks> <disk_name_0原创 2021-04-02 10:10:14 · 1432 阅读 · 3 评论 -
clickhouse 报内存不足的问题
文章目录概述解决办法概述在使用ck清洗数据的时候报内存不足:Progress: 1.83 billion rows, 85.31 GB (68.80 million rows/s., 3.21 GB/s.) 6%Received exception from server:Code: 241. DB::Exception: Received from localhost:9000, 127.0.0.1. DB::Exception: Memory limit (for query)原创 2021-04-02 09:13:41 · 13585 阅读 · 6 评论 -
clickhouse集群搭建
文章目录安装clickhouse修改集群配置文件启动clickhouse集群测试集群的可用性安装clickhouse本次用了4台服务器搭建clickhouse集群,使用rpm安装方式在4台服务器上安装clickhouse,步骤如下:sudo yum install -y curlcurl -s https://packagecloud.io/install/repositories/altinity/clickhouse/script.rpm.sh | sudo bashsudo yum in原创 2021-04-01 09:53:01 · 979 阅读 · 0 评论