database
文章平均质量分 83
database相关知识分享
henry.zhu
关注数据库及相关的大数据&云计算领域
展开
-
PostgreSQL源码系列三:PGPool-II BUG? down节点在线恢复问题
细节决定成败原创 2021-11-11 17:52:40 · 3491 阅读 · 1 评论 -
转载:Apache Doris、DorisDB傻傻分不清……
大家擦亮眼睛,摘录一部分:"比如 DorisDB 的商标问题,从品牌角度来说,开源项目与商业化产品的品牌必须存在区分度,比如 Linux 和 RedHat 、 Hadoop 与 Cloudera 、Apache Kylin 和 Kyligence 。DorisDB 和 Apache Doris ,相信很多开源用户在初次接触 Doris 的时候都会迷惑这两个产品的区别是什么,甚至以为是同一个产品。这也是 DorisDB 的目的所在,品牌上的混淆可以带来用户流量,这就够了。而 Apache 基金会对此事件有过多转载 2021-10-13 18:27:00 · 2296 阅读 · 3 评论 -
PostgreSQL源码系列二:Postgres-XL调试基础&GDB Debug范例
一. 前言接上一篇,上篇的pg_hba的配置还是有点问题的,本篇将通过Debug来解析问题根源。二. 问题由于postgres是超级管理账户,实际使用中不可能开放给普通用户,我们模拟下生产环境,新建库和用户。[postgres@k8s03 ~]$ psql -hk8s01 -Upostgres -p5433psql (PGXL 10r1, based on PG 10.5 (Postgres-XL 10r1))Type “help” for help.postgres=# revoke all原创 2021-10-11 16:58:43 · 1124 阅读 · 0 评论 -
PostgreSQL源码系列一:Postgres-XL编译&安装&配置
一. 前言PostgreSQL使用比较广泛,但Postgres-XL相对少很多,网络上的很多文章都是学习&实验性质,仅从对pg_hba.conf的配置来看,大多一笔带过,不适合生产部署;官网的Tutorial(https://www.postgres-xl.org/documentation/index.html)写的太敷衍,实用性非常差!为了方便熟悉Postgres-XL的原理,本文参考官网文档,使用最原始的方法安装(建议使用官方推荐的pgxc_ctl工具,更方便快捷)二.系统架构三.编译原创 2021-10-09 15:10:54 · 664 阅读 · 0 评论 -
Oracle GoldenGate:DML过滤&官方文档的BUG
有些特殊的DML过滤需求,比如:仅仅同步update&delete数据,不同步insert,由于算比较罕见的用法,网络上的详细资料比较少,官方的文档又有些问题,花些精力详细研究了下相关资料&做了些测试,供对此功能有需求或疑问的朋友做参考!一.需求某表只需要同步update,delete记录,insert记录不同步。二.官方文档11g和12c官方文档的描述差异并不大:Oracle® GoldenGate Windows and UNIX Reference Guide 11g Rel原创 2021-09-16 20:18:43 · 246 阅读 · 0 评论 -
MySQL HA方案:MMM,MHA,Orchestrator,MGR
一.前言MySQL常用的HA方案:MMM,MHA;前者已经很多年没有更新版本了,不推荐使用,MHA也有多年未更新了,5.7及以上版本也不推荐使用,一些新特性要么不支持,要么会触发BUG;综合看Orchestrator相对来说算是目前比较好的解决方案。二.简介Orchestrator是使用go语言编写的MySQL高可用性和复制拓扑管理工具,支持复制拓扑结构的调整,自动故障转移和手动主从切换等。后端数据库用MySQL或SQLite存储元数据,并提供Web界面展示MySQL复制的拓扑关系及状态,通过Web可原创 2021-07-19 19:36:56 · 1666 阅读 · 0 评论 -
Oracle数据迁移至ClickHouse(二):flume
一.前言最近研究flume时发现,网络上的资料多少都有些问题,针对clickhouse引用最多的flume sink是:https://reviews.apache.org/r/50692/diff/1#2,这个源码的pom.xml是存在问题的,根本无法编译;其次clickhouse官网的jdbc驱动效率不高,鉴于此,我利用官网推荐的第三方jdbc重新写了一版flume sink,相关过程见下文。二.数据库环境准备oracle:create table tdba_test( TID原创 2020-06-22 11:25:12 · 2048 阅读 · 1 评论 -
Oracle数据迁移至ClickHouse(一):datax
一.前言ClickHouse是andex在2016年6月15日开源了一个数据分析的数据库,国内一些大厂也在使用:今日头条 内部用ClickHouse来做用户行为分析,内部一共几千个ClickHouse节点,单集群最大1200节点,总数据量几十PB,日增原始数据300TB左右,大多数查询相应时间在几秒钟。腾讯内部用ClickHouse做游戏数据分析,并且为之建立了一整套监控运维体系。携程内部...原创 2020-04-10 10:56:58 · 8562 阅读 · 6 评论 -
Oracle绑定变量分级-实测
在oracle 中,对于一个提交的sql语句,存在两种可选的解析过程, 一种叫做硬解析,一种叫做软解析.一个硬解析需要经解析,制定执行路径,优化访问计划等许多的步骤.硬解释不仅仅耗费大量的cpu,更重要的是会占据重要的们闩(latch)资源,严重的影响系统的规模的扩大(即限制了系统的并发行), 而且引起的问题不能通过增加内存条和cpu的数量来解决。这是因为门闩是为了顺序访问以及修改一些内存区域而...原创 2019-12-24 18:47:55 · 385 阅读 · 0 评论