![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Clickhouse
文章平均质量分 85
三思呐三思
这个作者很懒,什么都没留下…
展开
-
MySQL到Clickhouse的实时复制
文章目录一、基本了解1.1 MySQL与CK的简单比较1.2 MaterializeMySQL二、MySQL->CK的实时复制实现1.1 环境准备1.2 基本功能测试三、后续一些疑问以及思考MySQL与Clickhouse是两个完全不一样的数据库,两者均有着自己的优缺点,两者所适合的业务场景也是不一样的,在实际业务中,我们需要根据数据库自身的特性优点选择合适它的业务场景。传统的MySQL数据库虽然很好的支持了OLTP的业务,但是对于OLAP这类需要对大批量数据进行统计分析的业务场景还是存在较大的一原创 2021-03-14 16:04:10 · 1894 阅读 · 1 评论 -
Chproxy+Clickhouse高可用集群部署监控
文章目录一、环境描述1.1 服务部署规划1.2 CK集群设置二、chproxy的使用2.1 chproxy的优势2.2 Clickhouse集群安装部署2.3 chproxy安装部署2.4 chproxy功能测试三、chproxy监控3.1 安装grafana3.2 安装prometheus3.3 配置chproxy监控一、环境描述1.1 服务部署规划服务器名称IP地址服务配置mdw172.16.104.11grafana、prometheus、cksdw1172.1原创 2021-03-06 19:19:32 · 7383 阅读 · 8 评论 -
Clickhouse常用系统表概览
文章目录一、常用系统表1.1 集群配置相关1、clusters2、macros3、disk4、storage_policies1.2 数据库运行情况概要信息1、metrics、events2、asynchronous_metrics3、metric_log1.3 库表统计信息1、databases2、tables3、columns4、parts5、parts_columns1.4 日志相关1、query_log2、query_thread_log3、trace_log一、常用系统表1.1 集群配置相关原创 2021-03-02 17:35:50 · 2446 阅读 · 0 评论 -
Clickhouse多磁盘存储
文章目录一、配置多磁盘存储1、默认情况下,ck单磁盘存储2、配置多磁盘3、多磁盘系统信息查询二、配置多磁盘策略1、默认磁盘存储策略2、配置多磁盘存储策略3、磁盘存储策略系统信息查询三、多磁盘存储使用1、多磁盘存储表2、多磁盘数据迁移一、配置多磁盘存储默认情况下,我们会子在配置文件config.xml文件中指定的xxx/目录为我们的数据目录,该磁盘在ck中为default存储设备。所有的建表、数据写入默认都写入到我们指定的default目录下。从19.15版本开始,ck开始支持多卷存储的功能,我们可以将原创 2021-02-26 10:44:19 · 2452 阅读 · 1 评论 -
Clickhouse扩容方案概览
文章目录二、扩容2.1 扩容副本1、扩容副本的大致步骤2、案例测试2.2 扩容分片1、扩容分片的大致步骤2、案例测试3、案例测试二、扩容2.1 扩容副本对于副本节点的扩容,当ck集群新增副本节点后,zk会自动将原副本中的数据同步至新增副本节点中。1、扩容副本的大致步骤在扩容副本节点中修改配置,将集群配置中添加当前副本节点启动扩容副本节点节点,并创建相关复制表(此时该副本节点查询请求可正常路由选择所有的副本节点,但原副本节点配置文件未刷新,只能路由选择原有副本节点)原副本节点修改配置文件,将集原创 2021-02-23 21:38:37 · 4663 阅读 · 4 评论 -
Clickhouse缩容方案概览
文章目录一、缩容1.1 下线副本1、下线副本大致步骤2、案例测试1.2 下线分片1、下线分片大致步骤2、案例测试一、缩容1.1 下线副本对于多副本的集群,由于副本中包含着完全相同的数据,主副本与副本是完全对等的,即使将主副本下线后,ZK也会重新选举其他副本作为新的主副本。1、下线副本大致步骤修改集群相关节点的配置文件,将需要下线的副本在集群定义中去掉重启集群相关所有节点,并关闭需要下线节点2、案例测试1)缩容前环境信息sdw1、sdw2为一个shard下的两个replica,sdw1为原创 2021-02-23 10:35:26 · 1233 阅读 · 0 评论 -
CK分布式DDL语法使用
文章目录一、复制表1、基本语法2、示例二、分布式表1、基本语法2、示例一、复制表1、基本语法1)ReplicatedMergeTree 基本语法-- 每个replica下执行create table ${table_name} (xx,xx,xx)engine = ReplicatedMergeTree('${zk_path}','${replica_name}') order by xxzk_path : 指定在zk中创建数据表的路径,配置模版为 /clickhouse/tables/s原创 2021-02-19 22:27:26 · 2617 阅读 · 0 评论 -
Clickhouse备份恢复方式概览
文章目录一、冷备二、热备2.1 数据导入导出2.2 快照表2.3 FREEZE备份2.4 FETCH备份三、数据恢复常见备份恢复概览备份方式特点物理文件备份对物理文件进行拷贝,备份期间禁止数据写入dump数据导入导出备份方式灵活,但备份速度慢快照表备份制作_bak表进行备份FREEZE备份表分布备份,可通过attach进行装载恢复FETCH备份ReplicaMergeTree引擎表分区备份,可通过attach进行装载恢复元数据备份建表、建库语原创 2021-02-19 22:19:29 · 3867 阅读 · 0 评论 -
CK权限管理
文章目录一、用户角色profile二、数据库账号配置三、quota资源限制四、更细粒度数据库权限限制CK主要通过users.xml文件做用户权限控制,主要通过用户角色、数据库账号定义、权限管理等来进行控制。一、用户角色profile1、重要参数解释profile : 每个profile相当于一个数据库用户角色,方便后续数据库账号授权时进行复用,默认为default,可自定义创建max_memory_usage : 内存使用大小,可通过min、max设置其上下限。distributed_prod原创 2020-12-07 14:01:39 · 1907 阅读 · 0 评论 -
CK集群搭建部署
文章目录一、规划二、安装JDK三、安装Zookeeper四、安装部署CK五、集群高可用使用一、规划1、服务器配置属性详情服务器配置4C8G操作系统版本CentOS Linux release 7.8.2003 (Core)内核版本3.10.0-1127.el7.x86_64ZK版本ZooKeeper-3.6.2CK版本ClickHouse-20.9.5.52、ZK1)服务器规划主机IPPORTsdw1172.16.原创 2020-12-07 13:59:50 · 4499 阅读 · 1 评论