- 博客(17)
- 收藏
- 关注
RSS订阅原创 全网最细~ Clickhouse ~ 均衡节点数据脚本《大力仑出品必属精品》
clickhouse/tables/01/gesaas/ych_v2 -> old_hostname节点存储在zk 上的元数据目录。new_hostname -> 新节点hostname。old_hostname -> 久节点hostname。gesaas.ych_v2 -> 需要均衡的库名.表名。partition.txt -> 需要均衡的表分区。
2024-07-12 10:43:03
1490
原创 全网最细~Clickhouse~ 之 TTL 工作原理《大力仑出品必属精品》
在创建表时，可以通过 TTL 子句为列或表定义 TTL 规则。这段 SQL 表示 example_table 表中的 event_date 列数据将在一个月后自动删除。
2024-07-05 17:44:16
687
原创 全网最细~ Clickhouse 之 merge 工作原理&性能优化《大力仑出品必属精品》
数据写入和初始存储:当数据写入 ClickHouse 时，数据先存储在内存中，并以较小的块（parts）写入磁盘。这些小的块最初写入磁盘时没有进行排序和压缩，称为初级数据片段。合并触发:合并过程由 ClickHouse 后台自动管理。后台进程会监控表中的数据片段，并根据预设的规则和阈值触发合并操作。合并操作的触发条件包括：数据片段数量超过阈值、片段大小等。合并操作:后台进程选择若干个较小的数据片段进行合并。这个过程包括排序、去重和压缩。
2024-05-27 17:21:20
1484
原创 全网最细~ Clickhouse 集群部署《大力仑出品必属精品》
比如ORDER BY (Col1, Col2)，值得注意的是，如果没有指定主键，默认情况下 sorting key(排序字段)即为主键。ReplicatedMergeTree表引，使得以上 MergeTree 家族拥有副本机制，保证高可用，用于生产环境，对于大数据量的表来说不推荐使用，因为副本是基于zk做数据同步的，大数据量会对zk造成巨大压力，成为整个ck整个集群瓶颈。大约在配置文件的1037行，表示分片号，因为集群就一个分片，所以3个节点的分片号都是01，表示副本名称，三个节点的副本名称不能一样。
2024-05-10 09:33:00
1140
1
原创 全网最细~ Clickhouse ~ 数据备份恢复脚本《大力仑出品必属精品》
1.创建恢复表文件，只需要填写分布式表名即可 table_list.txt。2.创建需要备份的数据库文件，把需要备份的数据库名写入到该文件中。2 上传脚本目录(脚本权限775 用户root)3.上传脚本目录(脚本权限775 用户root)1.创建数据备份目录。4.执行备份脚本命令。3 执行恢复脚本命令。
2023-04-17 18:11:59
3530
5
原创 全网最细~ Clickhouse ~ 数据迁移脚本(支持集群内迁移，支持集群外迁移)《大力仑出品必属精品》
【代码】clickhouse 数据迁移脚本(支持集群内迁移，支持集群外迁移)
2023-04-17 17:47:25
606
原创 全网最细~ Ceph 状态报警告 pool rbd has many more objects per 修改 《大力仑出品之次品》
pool是ceph存储数据时的逻辑分区，它起到namespace的作用。---查看pool有多种方式：第一种方式: rados lspools第二种方式: ceph osd lspools第三种方式: ceph osd dump |grep pool----设置POOL配额查看pool 查看参数ceph osd pool g...
2019-11-01 11:07:55
786
1
原创 全网最细~ Spark RDD 之五种属性 《大力仑出品之次品》
Spark2每一个切片都会有一个函数作业在上面用于对数据进行处理3RDD和RDD之间存在依赖关系4可选，key value类型的RDD才有RDD[(K,V)]）如果是kv类型的RDD，会一个分区器，默认是hash-partitioned-5可以，如果是从HDFS中读取数据，会得到数据的最优位置（向Namenode请求元数据）...
2019-03-11 15:17:40
386
1
原创 全网最细~ Spark 之任务提交执行流程原理 《大力仑出品必属精品》
–spark 任务提交执行流程1.首先Worker 向Master 建立连接，进行RPC通信，把资源汇报给Master进行注册2.Master 接收到Worker 发来的信息后，会保存Worker 发来的信息，并返回Worker 注册成功，Worker收到注册成功后会定期向Master 发送心跳，让Master 知道Worker 还活着3.SparkSubmit(Driver)会向Mast...
2019-02-25 15:12:00
287
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人