自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(17)
  • 收藏
  • 关注

原创 如何搭建一个可维护的文档中心网站

最近,不少人反馈语雀上iDms 文档出现卡顿情况,还有一些人没有使用过语雀,那么打开文档就需要登录在查看,这时候在文档不断扩大的情况下搭建一个文档站,就很有必要了。不过网络上搭建文档中心的工具是在是太多了,利用AI,筛选出来一些工具,总结了工具的优缺点来看看选什么作为文档站搭建工具。诚然,很多路不是一下子就选定的,当然我不知道写下这些话之后,是否在后面还得返回来再次进行工具选型,但希望只需要一次就够了。工具优点劣势GitBook云端协作,团队共享方便;自动生成美观的文档页面;

2025-07-31 15:14:38 1084

原创 处理 Clickhouse 内存溢出

它们很容易解释,前者是这个语句所花费的时间,后者是内存使用,从图中可以看出 insert into table select from other-table 的语句,每条需要7s左右时间,且内存9G左右,这样62G的内存完全hold不住啊。后台线程池的大小,merge 线程就是在该线程池中执行,当然该线程池不仅仅是给 merge 线程用的,默认值 16,推荐 32 提升 merge 的速度 (CPU 允许的前提下)。这边需要注意一点,参数需要设置在user.xml下,不需要要重启,保存后就会生效。

2025-05-06 14:26:40 2282

原创 ClickHouse 数据库中的 “超时”

事实上,clickhouse并不会因为你在界面上多点了一下鼠标,就取消之前的SQL运行,反而会产生多个SQL在并发执行,如果这种耗时比较久的SQL越积CPU打满,造成的结果就是恶性循环,其他SQL也会越来越慢,最终导致并发的SQL超过了设置的最大并发数,再也无法执行任何查询语句,甚至写入都会受到影响。因为对于clickhouse的查询来说,一个大的查询SQL往往会把整个服务器的资源吃满,如果并发查询比较多的话,那么不可避免地造成资源竞争,最终的结果就是谁也快不了,甚至还会出现OOM的情况。

2025-04-15 09:40:56 2639

原创 教你如何在clickhouse上建表

在 ClickHouse 中,表引擎是表的核心组成部分,决定了表的存储方式、数据分布、索引机制以及查询性能。ClickHouse 提供了多种表引擎,每种引擎适用于不同的场景。表引擎决定了如何存储表的数据。包括:数据的存储方式和位置,写到哪里以及从哪里读取数据支持哪些查询以及如何支持并发数据访问索引的使用(如果存在)是否可以执行多线程请求数据复制参数表引擎是 ClickHouse 的核心特性之一,它定义了数据的存储和查询方式。常见的表引擎分为以下几类:见第二章。

2025-04-10 18:07:59 1506

原创 Clickhouse 中的replace语法

REPLACE子句在SELECT语句中位于COLUMNS选择之后,但在WHERE子句之前。这意味着REPLACE操作会先于WHERE过滤执行。此外,文档还指出:这进一步说明REPLACE操作是在整个结果集上执行的,而不是在WHERE过滤之后。因此,我们可以得出结论,在ClickHouse中,查询结果集字段的动态替换(REPLACE)的优先级高于WHERE子句的过滤操作。REPLACE会先执行,然后才是WHERE过滤。

2025-01-23 15:37:35 1169

原创 记录一次CK中插入数据不在预期分区中的现象

slot 的数量等于所有分片权重之和,假设集群有两个分片,第一个分片 weight 为 1,第二个 weight 为2 ,那么 slot 的数量为 3(1+2),slot 按照权重元素的取值区间,与对应的分片形成映射关系,对同一ID值(同一分片键,同一分区键)的数据执行插入操作(插入到分布式表中),有概率写入到不同分片上去(与常理不符合,应该是写入到同一个分片节点上) 根据user_id 分区的。148上节点分片配置的weight为2,和第一个147节点上的配置不同!

2025-01-14 16:55:44 1147

原创 借助clickhouse-jdbc实现oracle数据迁移到mysql(脚本版)

同时Clickhouse 自带mysql函数,可以直接读取,插入数据到mysql数据库中(注意⚠️:在clickhouse数据库上修改不了mysql数据库数据)在SQL中可以重写命名集合中设置的参数,如下例所示。这个过程借助第三方数据库实现数据从oracle数据库到mysql数据的转变,比起传统的ETL工具,既不需要空间去转换数据,也不需要下载原始数据和上传转换好的数据。然后,我们就能在clickhouse数据库中查或者插入mysql表数据,如下例子是查的mysql 数据库中aicc.aicc_test。

2024-12-18 16:07:12 969

原创 ClickHouse JDBC Bridge/Funtion实现多种数据库之间数据迁移-联合-ClickHouse

在 ClickHouse 中,我们需要使用适当的引擎,并且注意数据类型和主键的定义。ClickHouse 主要使用 MergeTree 系列引擎来支持主键和分区。├── clickhouse-jdbc-bridge-2.1.0-shaded.jar . #/usr/local/lib/java/目录下。① 可以执行insert 和select 的操作, 也可以执行show tables;和show create table_name;② 也可以进行clickhouse和mysql之间的交互;

2024-06-26 16:54:02 1192

原创 Clickhouse监控方案

3、scrape_configs 配置块:配置采集目标相关, prometheus 监视的目标。Prometheus 自身的运行信息可以通过 HTTP 访问,所以 Prometheus 可以监控自己的运行数据。可执行文件在cd /usr/sbin/目录下,配置文件在/etc/grafana下。➢ scrape_interval:配置拉取数据的时间间隔,默认为 1 分钟。1、global 配置块:控制 Prometheus 服务器的全局配置。➢ targets :指定监控的目标 ,其实就是从哪儿拉取数据。

2024-05-09 10:38:18 848 1

原创 If you‘re seeing this Grafana has failed to load its application files ___Grafana 问题

官网就那么几种安装方式,反复尝试几次都这样,看浏览器也在支持范围,头疼。没想到换个浏览器就打开了。

2024-04-16 14:46:45 1270 1

原创 霉霉——long live HTML歌单设计

里面涉及许多初级HTML知识,学习中带来信仰,等我再学学,争取来个爱心飘动效果。~~~纯纯就是本人霉粉自玩~~~~

2024-01-19 14:57:12 477 1

原创 Mysql数据库测试工具——sysbench

在 sysbench 1.0 之前, 该场景是通过 oltp.lua 这个脚本来测试的。不过该脚本在 sysbench 1.0 之后就被废弃了,但为了跟之前的版本兼容,该脚本放到了/usr/local/share/sysbench/tests/include/oltp_legacy/ 目录下。默认情况下,sysbench 是通过 INSERT INTO 命令来导入测试数据的。command是 sysbench 要执行的命令,支持的选项有:prepare,prewarm,run,cleanup,help。

2024-01-19 14:48:29 2184 1

原创 Greenplum数据库安装+GPCC部署

在Greenplum数据库中,pg_hba.conf文件用于配置客户端连接到数据库服务器的身份验证规则。当客户端请求连接到数据库服务器时,服务器会根据pg_hba.conf文件中的规则进行身份验证,以确定是否允许连接。必须是gpadmin超级用户执行,必须提供连接master的连接端口,并提供将要创建的gpmon超级用户的密码。在此种认证方法下,数据库会拒绝该连接(即,配置连接的黑名单)配置进行链接的用户,需要注意的是这里是指的数据库的用户。流复制链接的配置,在PG的主从配置中会用到。

2024-01-19 14:42:06 1133 1

原创 Mysql主从复制(黑马版)

做主从复制的目的,并不是为了备份为了解决主库的单点故障,快速切换到从库;为了减少主库的压力(读写分离);可以在从库中执行备份,避免备份期间影响主库服务;

2024-01-11 10:56:47 1076

原创 mysql的xtrabackup+主从复制之建备机

安装和数据库匹配的版本:根据mysql版本按装好xtrabackup工具。根据mysql版本选择xtrabackup版本,5.7.X版本的mysql对应2.4.X的xtrabackup,8.0.X版本的数据库对应8.0.X版本的xtrabackup(这里有个问题:2.4.X的xtrabackup版本最新只到28,但是数据库到了5.7.38)

2024-01-11 10:51:23 1765

原创 Oracle数据库之dataguard部署

信息规划IP数据库实例名数据库unique名称主库cccc备库ccdr_cc。

2024-01-10 15:18:32 2915

原创 PXC安装+keepalived配置

💡 PXC(Percona XtraDB Cluster)是一个开源的、高可用性的MySQL解决方案,它基于Galera集群技术,提供了内置的多主节点、同步复制和故障转移等功能。PXC支持无需共享存储就能实现可扩展性和高可用性,使得应用程序能够更好地应对高并发访问和故障恢复。PXC集群主要由两部分组成:Percona Server with XtraDB和Write Set Replication patches(同步、多主复制插件)高可用性和可扩展性:PXC集群采用多主节点架构。

2023-09-15 14:14:06 419 1

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除