ClickHouse
文章平均质量分 78
ClickHouse 是 Yandex(俄罗斯最大的搜索引擎)开源的一个用于实时数据分析的基于列存储的数据库,其处理数据的速度比传统方法快 100-1000 倍。
福州司马懿
大家如果觉得文章有帮助,给我个关注。谢谢大家 (+_+),失业了球介绍工作
展开
-
clickhouse 配置项解析
max_table_size_to_drop此参数在 /etc/clickhouse-server/config.xml 中,应用于需要删除表或分区的情况,默认是50GB,意思是如果删除50GB以上的分区表会失败。建议修改为0,这样不管多大的分区表都可以删除。max_memory_usage此参数在 /etc/clickhouse-server/config.xml 中,表示单次Query占用内存最大值,超过的话会查询失败。建议尽量调大一些。set max_bytes_before_e..原创 2022-01-25 14:56:33 · 8956 阅读 · 0 评论 -
Clickhouse 对null值的处理
SQL语言对于NULL值的判断Clickhouse 使用 SQL SELECT 命令及 WHERE 子句来读取数据表中的数据,但是当提供的查询条件字段为 NULL 时,该命令可能就无法正常工作。使用值比较的 =(等号),或者 equals(A, B) 均不能正确比较两个值。当左右两边同为 NULL 时,会返回 1为了处理这种情况,Clickhouse提供了以下两个函数来判断值是否为NULLIS NULLisNull(value)MySQL里,额外提供了 <=> (比较操作符),原创 2022-01-24 14:26:50 · 11083 阅读 · 0 评论 -
clickhouse system表介绍
aggregate_function_combinatorsbuild_options存储了clickhouse的编译信息,包括 clickhouse 版本号,编译用的cxx版本等clusters本机地址localhost 是一个域名,在过去它指向 127.0.0.1 这个IP地址。在操作系统支持 ipv6 后,它同时还指向ipv6 的地址 ::1127.0.0.1是代表自己机器的回路地址,无论是否联网,自己机器都是127.0.0.1127网段是保留区段,任何ping向保留区段127的都会原创 2021-12-02 22:27:18 · 3556 阅读 · 0 评论 -
用 mysql 客户端连接 clickhouse
说明因为 mysql 被 Oracle 收购了,这里用 mysql 的社区版本,叫 mariadb(本质上是一样的)查看 mysql 版本 mysql --version进入 mysql 命令交互界面 mysql在 mysql 客户端执行,查看服务器版本 SELECT version()使用 mysql --help 可以查看帮助文档连接命令-h 待连接的主机名或IP-u 如果不是当前用户,需要输入用户名-P 如果不是mysql的默认端口(3306),需要手动输入-p 要求输入密原创 2021-12-02 16:59:12 · 3040 阅读 · 0 评论 -
Clickhouse 1亿条20列表的性能测试
建表下面建了一个1亿行20列,随机值的表用于测试-- 随机表CREATE TABLE generate_engine_table ( id UInt64, i8 Int8, i16 Int16, i32 Int32, i64 Int64, ui8 UInt8, ui16 UInt16, ui32 UInt32, ui64 UInt64, f32 Float32, f64 Float64, s1 String, s2 String, s3 String, s4 String, s5 St原创 2021-12-01 20:36:13 · 2784 阅读 · 1 评论 -
Clickhouse 内存达到限制
错误localhost :) insert into `test`.`test_memory` select * mysql('192.168.100.101:3306','test',"test_memory','root','<密码>'); Received exception from server (version 21.11.3):Code: 241. DB::Exception原创 2021-11-30 20:11:04 · 11327 阅读 · 0 评论 -
clickhouse 修改配置
临时修改注意:该命令只能在 clickhouse-client 中执行,若在 DBeaver 中执行,会报错全局修改原创 2021-11-29 19:54:05 · 6767 阅读 · 0 评论 -
DataX 同步mysql到clickhouse
上一篇文章介绍了如何编译DataX,这一篇介绍如何通过DataX同步数据。以 mysql 和 clickhouse 为例制作配置文件DataX 可以用来做全量的数据迁移;如果要用 DataX 做增量同步,则需要额外带一个时间戳字段首先进入到 target/datax/datax/bin 目录下,可以看到3个python文件datax.pydxprof.pyperftrace.py{ "job": { "content": [ {原创 2021-07-13 17:51:48 · 5517 阅读 · 7 评论 -
clickhouse SSB 性能测试
SSB(Star Schema Benchmark)的介绍论文地址:https://www.cs.umb.edu/~poneil/StarSchemaB.PDF官网链接 https://clickhouse.com/docs/en/getting-started/example-datasets/star-schema/如果安装系统时,时最小化mini安装,经常会提示很多命令不存在提示 git 不存在,使用 yum install git 安装即可提示 make: command not fo原创 2021-11-29 17:14:58 · 1865 阅读 · 0 评论 -
clickhouse-client 单行/多行模式
clickhouse-client 是 clickhouse 自带的命令行客户端,默认使用 9000 端口连接本机(外部数据库工具,例如 DBeaver 则使用 8123 端口进行连接)单行模式clickhouse-client 默认是单行模式,即以换行符作为语句结束的标志,所以即使不加分号也是可以的。多行模式补充注意:无论是单行模式,还是多行模式,一次都只能执行一条语句(不能多条语句同时执行)...原创 2021-11-29 17:29:25 · 3457 阅读 · 1 评论 -
Clickhouse 单节点部署多个实例
背景有时候是因为测试需要,亦或是设备限制,我们需要在单节点上部署多个 clickhouse 实例单节点单实例首先回顾一下单节点单实例的部署方式首先,在默认位置 /etc/metrika.xml 亦或是其它任意位置创建 metrika.xml然后编辑 /etc/clickhouse-server/config.xml,配置 metrika.xml 的路径使用 systemctl start clickhouse.service 命令启动 clickhouse 服务单节点多实例systemc原创 2021-11-27 18:56:30 · 3021 阅读 · 2 评论 -
Clickhouse 生成随机数据
随机函数clickhouse 是一款性能极高的OLAP数据库,由于不像传统OLTP数据库(诸如 MySQL,Oracle 等),它没有函数,没有存储过程,更没有循环语句。因此创建随机值的方式,也多少与众不同,今天我就来说说它的用法。首先,输入 /usr/bin/clickhouse-client --host localhost --port 9000 进入命令行模式整型在键入 SELECT rand 后,按回车,会有提示一共有4种randrand32rand64randConstant原创 2021-11-26 22:15:27 · 8851 阅读 · 0 评论 -
clickhouse 在集群上增删改查
测试环境说明这里测试的是 “1分片1副本” 集群环境,2台服务器( PC1 192.168.100.101 & PC2 192.168.100.102)。集群名字之前在 metrika.xml 里配置的是 ch_1s_1r查看集群在任意一台机上,使用 /usr/bin/clickhouse-client --host localhost --port 9000 连接本地服务器使用 SELECT * FROM system.clusters 打印集群列表建库create database原创 2021-11-24 21:23:08 · 3809 阅读 · 0 评论 -
clickhouse 无法远程连接
lsof 命令lsof 命令用来从系统获得与网络连接相关的信息,全称为 “列出打开文件(lists openfiles)”。这是因为,在Unix中的一切(包括网络套接字)都是文件。lsof -i 用来查看当前IPv4或IPv6的任务lsof -i :<端口号> 用来查看指定端口的套接字线程(注意:冒号的右边不能有空格,左边随意)从上面可以看到 clickhouse 默认只监听本地的8123端口。所以,在本地使用 /usr/bin/clickhouse-client --host lo原创 2021-11-23 17:42:47 · 5026 阅读 · 2 评论 -
Clickhouse + Grafana 可视化监控
介绍随着业务的复杂,对系统软件的要求越来越高。这意味着我们必须随时掌握系统的运行情况,因此,对系统的“实时监控”以及“可视化的展示”就变得非常必要。Grafanahttps://grafana.com/grafana/download这里是centos,因此使用如下命令wget https://dl.grafana.com/enterprise/release/grafana-enterprise-8.2.4-1.x86_64.rpmsudo yum install grafana-enter原创 2021-11-18 22:00:28 · 5516 阅读 · 0 评论 -
clickhouse 搭建 单机 / 集群
首先,访问官网 https://clickhouse.com/#quick-start 根据你主机的类型,下载clickhouse我这里是centos8,因此采用如下方式sudo yum install yum-utils -y sudo rpm --import https://repo.clickhouse.com/CLICKHOUSE-KEY.GPGsudo yum-config-manager --add-repo https://repo.clickhouse.com/rpm/click原创 2021-11-17 22:58:45 · 2561 阅读 · 0 评论