clickHouse
天空飘来一个云哥哥
这个作者很懒,什么都没留下…
展开
-
clickhouse重目录层级介绍(包括zk上注册节点)
参考地址:https://blog.csdn.net/weixin_39992480/article/details/105152055最终zk的目录结构为clickhouse└── tables ├── 1 │ ├── log_test │ │ ├── metadata #log_test表的元数据信息 │ │ ├── temp #临时节点,存储过程中的临时数据 │ │ └── mutations #表的变更信转载 2021-06-23 18:40:17 · 323 阅读 · 0 评论 -
Clickhouse导数工具waterdrop用法
官方文档链接地址:https://interestinglab.github.io/waterdrop-docs/#/zh-cn/case_study/2Hive to ClickHouse假定我们的数据已经存储在Hive中,我们需要读取Hive表中的数据并筛选出我们关心的字段,或者对字段进行转换,最后将对应的字段写入ClickHouse的表中。Hive Schema我们在Hive中存储的数据表结构如下,存储的是很常见的Nginx日志hive的建表语句如下:CREATE TABLE `nginx原创 2020-12-07 18:52:00 · 3595 阅读 · 0 评论 -
Clickhouse优缺点、性能以及错误躺坑
优点:为了高效的使用CPU,数据不仅仅按列存储,同时还按向量进行处理;数据压缩空间大,减少IO;处理单查询高吞吐量每台服务器每秒最多数十亿行;索引非B树结构,不需要满足最左原则;只要过滤条件在索引列中包含即可;即使在使用的数据不在索引中,由于各种并行处理机制ClickHouse全表扫描的速度也很快;写入速度非常快,50-200M/s,按照每行100Byte估算,大约相当于50W-200W条/s的写入速度。对于大量的数据更新非常适用。缺点:不支持事务;不支持高并发,官方建议qps为100,原创 2020-12-02 16:14:02 · 10131 阅读 · 0 评论 -
通过Prometheus监控ZooKeeper
通过在ZooKeeper中埋点来暴露数据,使用Prometheus监控抓取数据,并借助Prometheus Grafana大盘来展示数据,即可实现通过Prometheus监控ZooKeeper的目的。步骤一:启动JMX服务首先需要在ZooKeeper中启用JMX服务以获取资源信息。修改/opt/zk/zookeeper-3.4.10/bin/zkServer.sh,在第44行添加JMXPORT=8999。具体添加位置如下所示。if [ "x$JMXLOCALONLY" = "x" ]then转载 2020-11-24 15:24:45 · 2104 阅读 · 0 评论 -
ClickHouse-ReplicatedMergeTree主备同步
了解到,分布式DDL功能对Zookeeper的依赖情况还是比较轻量级的,接下来介绍的ReplicatedMergeTree表引擎对Zookeeper的依赖可以说是所有表操作全方面的依赖,真实集群中大量的ReplicatedMergeTree表会对Zookeeper造成非常大的请求压力,需要用户关注Zookeeper的运维。ReplicatedMergeTree表引擎实现的主备同步和传统主备同步有很大的差异:1)它不是一个(抢主,主节点执写入更新,备节点同步follow)的模型,ClickHouse的主节转载 2020-10-17 17:45:42 · 6412 阅读 · 0 评论 -
Clickhouse 国内应用案例汇总(持续更新)
QQ 音乐https://www.infoq.cn/article/3OfbQcStGJssh5CGl8VP原始地址:https://mp.weixin.qq.com/s/_pXPDbhqC1B1HQWQQEfAGw携程https://www.infoq.cn/article/Mv5QKf8BZdv4RVMhEa7o原始地址:https://mp.weixin.qq.com/s/IjOWAPOJXANRQqRAMWXmawhttps://www.infoq.cn/article/MHXgE5转载 2020-09-28 09:42:24 · 1059 阅读 · 0 评论 -
Clickhouse 各种工具函数知识 -<日期函数>
-------------------------------------------------------------------------------------------------------------------Clickhouse基础知识:函数学习---------------官址学习文档:https://clickhouse.yandex/docs/zh/-------------------------------------------------------------转载 2020-09-11 10:53:33 · 1844 阅读 · 0 评论 -
ClickHouse节点扩容及数据迁移
背景之前公司面临磁盘不足的问题,虽然通过增加磁盘来缓解了。但是clickhouse集群节点扩充是发展迟早要面临的问题,所以尝试思考解决方案。ck不同于hadoop体系,hdfs当集群增减节点时可以通过balance命令去自动调节。但ck集群不能自动感知集群拓扑变化,也不能自动 balance 数据。当集群数据量较大,复制表和分布式表过多时、想做到表维度、或者集群之间的数据平衡会导致运维成本很高。方案这里提供三个解决思路方式一、复制当我们追求分布式表在新集群的平衡,数据量不大的情况,可以在新集群简原创 2020-09-03 19:32:13 · 7323 阅读 · 0 评论 -
docker安装prometheus、clickhouse-export监控
本次基于docker来实现对clickhouse的指标的监控,需安装三个软件Granfaprometheusclickhouse-export准备docker环境和docker-compose编排1、首先安装Granfa# 获取镜像docker pull grafana/grafana# 后台启动容器,将23000映射到容器的3000docker run -d -p 23000:3000 --name=my-grafana -v /data/grafana:/var/lib/grafa原创 2020-09-02 18:09:01 · 922 阅读 · 0 评论 -
ClickHouse之DBA运维宝典
ClickHouse 中有没有一些能够 “安家立命” 的运维 SQL 语句。我想对于这个问题很多朋友都会有兴趣,所以就在这里做一个简单的分享。在 ClickHouse 默认的 system 数据库下(databse),拥有众多的系统表。我们对 ClickHouse 运行状态的各种信息,就主要来自于这些系统表。接下来就列举一些常用的运维 SQL 语句。当前连接数众所周知,CH 对外暴露的原生接口分为 TCP 和 HTTP 两类,通过 system.metrics 即可查询当前的 TCP、HTTP 与转载 2020-09-02 11:05:39 · 461 阅读 · 0 评论 -
clickHouse的安装配置流程:
clickHouse的安装配置流程:1、首先下载CH的安装包:1. curl -s https://packagecloud.io/install/repositories/Altinity/clickhouse/script.rpm.sh | sudo bash2. yum list 'clickhouse*'3. yum install -y clickhouse-server clickhouse-client2、更改配置文件在这里插入代码片...原创 2020-07-09 18:13:57 · 2310 阅读 · 4 评论 -
ClickHouse中的物化视图简介与应用示例
参考链接:https://www.jianshu.com/p/3f385e4e7f95转载 2020-08-15 18:48:50 · 966 阅读 · 0 评论 -
使用docker搭建clickHouse集群
使用docker搭建clickHouse集群背景:用一台物理机来搭建一个有两台CK的集群安装流程如下:1、操作docker1、首先起一个单机的CHdocker run -d \--name clickhouse-server \-p 9000:9000 \-p 8123:8123 \-p 9009:9009 \--ulimit nofile=262144:262144 \yandex/clickhouse-server2、将上面单机的CH中的配置文件复制到宿主机的目录中。没有/ho原创 2020-07-30 11:55:20 · 2875 阅读 · 1 评论 -
ClickHouse数据库的迁移
参考地址https://blog.csdn.net/dong120f/article/details/813563611、创建好目标库 create database DB12、首先将要备份库中的数据进行拷贝拷贝源库中的数据 /Path/to/clickhouse/data/DB0/table1 到目标库路径:/Path/to/clickhouse/data/DB13、找到CH的metadata中源库中保存的建表sql(很多个文件)路径: Path/to/clickhouse/原创 2020-08-13 20:45:50 · 1802 阅读 · 0 评论 -
Clickhouse 时间日期函数实战(详细)
链接地址:https://blog.csdn.net/u010180815/article/details/105250864转载 2020-08-15 18:46:14 · 3318 阅读 · 0 评论 -
ClickHouse版本升级
参考网址:https://blog.csdn.net/weixin_34220179/article/details/91644177升级CH版本:1、首先卸载原版本yum list installed | grep clickhouseyum remove -y clickhouse-server-common如果要删除原始数据,执行下面命令:rm -rf /var/lib/clickhouserm -rf /etc/clickhouse-*rm -rf /var/log/clickho原创 2020-08-14 15:03:35 · 862 阅读 · 0 评论