tidb
文章平均质量分 51
恬淡虚无真气从之
这个作者很懒,什么都没留下…
展开
-
TiDB GC 原理
如果一轮 GC 运行时间太久,那么在一轮 GC 完成之前,即使到了下一次触发 GC 的时间也不会开始下一轮 GC。为了保证 safe point 之后的任何时间戳都具有一致的快照,这一步删除 safe point 之前提交的数据,但是会对每个 key 保留 safe point 前的最后一次写入(除非最后一次写入是删除)。每次 GC 时,首先,TiDB 会计算一个称为 safe point 的时间戳,接下来 TiDB 会在保证 safe point 之后的快照全部拥有正确数据的前提下,删除更早的过期数据。原创 2023-02-22 22:26:56 · 338 阅读 · 0 评论 -
TiDB逻辑快速导数据(dumpling导出和Lightning导入)
摘要:mysql使用mysqldump和mydumper实现数据的导出,和load data导入数据。tidb则使用dumpling导出和Lightning导入,实现逻辑导出和导入。原创 2023-02-20 22:52:03 · 1210 阅读 · 0 评论 -
dm v5.4.3执行stop-task 返回 invalid op 7 on task
再通过指定版本安装:tiup intall dmctl:v5.4.3 安装了对应版本的组件,可以对任务进行停止操作了。通过了tiup uninstall dmctl --all移除dmctl组件。感觉组件update方式如果能多个默认匹配集群版本就好了。【 DM 版本】v5.4.3。原创 2023-02-03 15:56:34 · 116 阅读 · 0 评论 -
tidb磁盘挂载参数
ext4是第四代扩展文件系统,是ext3文件系统的后继版本,相比ext3,ext4取消子目录限制,支持的文件卷达到1EB,最大文件支持达到16TB,对于大数据存储足够,ext4在fsck(file system check)做了大量优化,相比ext3用时少很多。读取文件时,将禁用对元数据的更新。提到nodealloc需要先知道delalloc, delalloc是说把所有的block分配推到真正要写数据的时候,之前有淘宝内核在线上业务中反馈出delalloc延迟分配导致的写延迟问题,所以禁用延迟分配。原创 2022-12-01 23:45:34 · 820 阅读 · 0 评论 -
tidb扩容之tiup报错
使用tiup部署tidb节点时,使用tidb用户和root用户部署效果是一样的,都是会先copy 公钥和私钥到目录~.tiup/storage/cluster/clusters/集群/ssh下面,然后使用配置文件里的配置用户tidb去登陆到目标节点,最后部署节点。所以不管是使用tidb用户部署,还是用root 用户部署,都是最后会是以tidb用户来登陆到各个tidb节点来实现部署。然后再利用生成的公钥和私钥来ssh免密登陆到各个节点上,使用tidb用户(假设配置文件里是tidb用户)来部署节点;原创 2022-12-01 00:03:57 · 489 阅读 · 0 评论 -
TiDB的tikv节点的压缩算法
如果采用的压缩方式为"no:no:lz4:lz4:lz4:zstd:zstd",在大量写入数据的情况下,发现系统的 I/O 压力不大,但是 CPU 资源已经吃光了,top -H 发现有大量的 bg 开头的线程(RocksDB 的 compaction 线程)在运行,这 个时候可以考虑用 I/O 资源换取 CPU 资源,将压缩方式改成"no:no:no:lz4:lz4:zstd:zstd"。RocksDB6层的压缩为:[no:no:lz4:lz4:lz4:zstd:zstd]原创 2022-11-03 16:15:59 · 719 阅读 · 0 评论 -
TiDB 数据库统计表的大小方法
TiDB统计表的大小,列出了一些方法,都是比较实用。原创 2022-11-03 13:09:02 · 1997 阅读 · 0 评论