ClickHouse
学习时长两年半的小学生
我要一步一步往上爬~
展开
-
ClickHouse物化视图
概念:物化视图是指通过SQL语句从一张表或者多张表查询出来的数据集做持久化存储,针对分布式表做的分布式物化视图不会随着基础表数据变化而变化。单节点的表通过SQL更新可以通过自带的触发器同步数据到物化视图中。所以,一定程度上物化视图可以看作是‘快照’;物化视图与表非常类似,数据存储格式也是由创建视图时指定的表引擎决定,是一种很明显的空间换时间的提高查询效率的方法。网上还有很多概念说,物化视图是完全与源表脱离的,任何数据更新都不会主动同步到物化视图中,这一种博文基本都是没实操,英文翻译水平还很菜那种从官网照搬原创 2020-12-16 16:57:48 · 6741 阅读 · 1 评论 -
ClickHouse表引擎简单介绍
ClickHouse的表引擎跟我们耳熟能详的Mysql表引擎差别很大,它功能更加强大作用:(1)数据存储位置(内存或者磁盘)(2)操作方式和操作限制(3)并发和多线程限制(4)是否可以使用索引(5)数据备份,分片等等限制(6)指定数据源读取有以下几种:Log:日志表引擎不支持索引,采用类似稀疏索引的方式存储数据,标志位和偏移量来指定多线程并行读取数据,指定开始读取的位置和指定跳跃行数。写操作会阻塞读操作,读操作也会阻塞写操作,如果写入数据表失败,就会导致数据损坏,读取报错。适合存储临时原创 2020-12-14 18:33:06 · 670 阅读 · 0 评论 -
ClickHouse库表结构与结构文件
基于上面一篇博客:ClickHouse集群环境下的分布式建库建表,插入/查询数据,自定义CSV文件数据导入继续来学习~~~yum安装的ClickHouse创建的数据库和表默认在:/var/lib/clickhouse/data 下。数据库和表层级都是一个文件夹,列数据是一个个.bin文件,一列存在一个文件里面,存储压缩后的数据吗,三条数据分了三个文件夹,每个文件夹下面就一条数据,如果是MergeTree引擎的数据表,命名规则用日期类型分区,表文件夹下的数据文件夹就是类似于:20201214_2_2_0原创 2020-12-14 17:17:08 · 4025 阅读 · 0 评论 -
ClickHouse集群环境下的分布式建库建表,基本数据操作数据,自定义文件格式数据导入
万丈高楼平地起,经过前几篇的学习折磨,默认都是已经搭建起ClickHouse集群环境的了,现在这篇文件是简单介绍基本使用。注意ClickHouse的分布式,也摆脱不了CAP的束缚,所以数据写入都是异步的,做数据同步都是先写入本地磁盘,再同步到其他分片区,yum安装方式的可以在/var/lib/clickhouse/data/database/table/查看ClickHouse的数据是否同步完成。(1)分布式建库:其实也就是在集群中建库,让所有节点都同步创建:create database jojo_原创 2020-12-11 16:24:00 · 6298 阅读 · 4 评论 -
最简单的ClickHouse集群搭建
用最少的废话,做最踏实的事,我自己搭建这个集群环境也踩了坑,也查了很多资料,网上很多资料,说实话都是复制粘贴的,或者有的根本没说全面的,更有甚者只说了个概念,具体怎么配置,文件怎么修改都没说。所以做这篇记录的同时,也希望帮助到更多人。(1)第一步肯定是在你集群机器(三台或以上)安装和启动ClickHouse,在我另外一篇博客记录。ClickHouse下载安装和启动(2)第二步是你必须掌握并且基本会用ZooKeeper,并且已经在集群机器上配好了Zookeeper集群,最少一个leader两个follo原创 2020-12-11 09:46:24 · 998 阅读 · 0 评论 -
ClickHouse资源配额小手册
这个配置其实也是在Users.xml里面的,为啥跟权限控制分开记录博客呢?主要是因为这块内容相对比较独立。这块功能更强大,我们指定一个时间间隔,在这个间隔内发生的错误率,查询次数,(读取/查询/返回)行数限制,执行时间长短(猜测是秒,文档没有注释,未测试,但是按照配置是秒的尿性来看应该也是秒) 都能做限制<!-- Quotas. --> <quotas> <!-- Name of quota. --> <default&g原创 2020-12-10 15:16:39 · 726 阅读 · 0 评论 -
ClickHouse的多用户权限配置管理
我们安装好Click house后都是通过default用户登录,如果想自己实现自定义的用户权限控制管理就要详细读懂users.xml文档,我翻译出来了:<users> <!-- If user name was not specified, 'default' user is used.如果用户名没有特别指定,默认使用default用户 --> <default> <!-- Password could b原创 2020-12-10 14:53:49 · 1867 阅读 · 0 评论 -
ClickHouse下载安装和启动
号称比Mysql快900倍的新时代存储引擎。(1)使用脚本下载yum源curl -s https://packagecloud.io/install/repositories/altinity/clickhouse/script.rpm.sh | sudo bash(2) yum 安装 server 以及 clientsudo yum install -y clickhouse-server clickhouse-client(3)查看是否安装完成sudo yum list installed原创 2020-12-10 14:35:52 · 1030 阅读 · 0 评论