- 博客(12)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 clickhouse源码分析
clickhouse源码分析（一）简单介绍clichouse是由俄罗斯yandex公司的大数据引擎团队开发的分析型数据库。在2016年发布，经过几年的跌代现在被国内外很多大小公司在各种场景使用。clickhouse的轻量级，多种协议接口，SQL兼容性，优秀的导入和查询速度等等特性。被国内外的企业和数据分析从业人员所喜欢。代码下载clickhouse github链 接https://github.com/ClickHouse/ClickHouse.git 下载的时候最好使用git下载（下载的代码的
2021-04-01 14:11:41
1271
4
原创 postgres之无逻辑复制槽的逻辑复制
postgres自身提供的xlog(wal解析)功能，将数据的数据操作按着事务，依次放到逻辑复制槽中，（复制槽中可以用一些解析插件将wal解析为各种形式）然后能过walsender发出。这样的机制为之后的开发者降低了不少难度，但是逻辑复制槽在做逻辑复制的时候会占用过期的xid，如果逻辑复制槽断开后占用了一个很老的xid那会就会影响会postgres的autovacuum。一个正确的和高性能的方式逻辑同步方式，应该舍弃逻辑复制槽，自行对wal(xlog)进行解析，有以下几个问题：其一，由于wal是写入
2020-06-09 01:18:07
687
原创 pgbouncer介绍和原理
pgbouncer是一个轻量级postgres连接池，可以使postgres支持高并发的应用场景。在高并发应用场景下减少资源申请和释放开销，能更快的响应客户端请求。安装pgbouncer,安装有两种方法，一种是二进制直接安装，这样就在网上找对到对应平台的指定版本。第二种是源码编译安装，下载指定版本的源码，然后configure，如果缺少哪些包可以安装(可能会缺少libevent和openssl...
2020-04-16 15:50:55
614
原创 postgresql为什么要使用连接池
postgres是一个多进程数据库，每当有请求接入时，后台就会起动一个后台进程来接收请求，处理请求，返回结果，在这此过程中会有大量的资源申请，当连接释放时，也会大量的资源被释放。pg的数据存储是使用的系统的，一个后台进程启动会有大量的文件被打开。申请大量的filehandle。而且pg的服务进程之间的资源有很多资源未共享。进程本身资源申请消耗也比线程大的多。在高并发的情景下，不断的新请求，新连接接...
2020-04-15 10:32:04
791
原创 postgres的逻辑复制原理
大家都知道数据库的逻辑复制都是通过读取wal日志然后同步。这个听起来不怎么复杂，但是其中包含一些数据库的自身机制保证事务的完整性、同步的可靠性。这段时间有一个postgres逻辑复制的产品上线，在运行过程中遇到了一些问题，在解决问题的过程中查看了下postgres逻辑复制相关的源码，对于其中的一些机制进行了整理。逻辑同步的过程包含以下几个部分：1.逻辑同步接收部分；2walsender...
2020-03-31 15:30:36
1102
原创 time series database------时序数据库一些特殊机制
时序数据库全称为时间序列数据库。时间序列数据库主要用于指处理带时间标签（按照时间的顺序变化，即时间序列化）的数据，带时间标签的数据也称为时间序列数据。时间序列数据主要由电力行业、化工行业等各类型实时监测、检查与分析设备所采集、产生的数据，这些工业数据的典型特点是：产生频率快（每一个监测点一秒钟内可产生多条数据）、严重依赖于采集时间（每一条数据均要求对应唯一的时间）、测点多信息量大（常规的实时监...
2019-06-26 20:12:27
1226
原创 我谈数据库
数据库与操作系统、中间件合称为三大基础软件。中国的软件行业在应用程序开发上已经与国外水平相似，可能还超过国外应用软件开发行业。但是在基础软件上由于历史原因，中国的国产基础软件还是很薄弱的。例如在国内基础软件市场份额,，以数据库为例：2015年中国数据库市场，Oracle份额高达56%，远超排在第二的IBM（15.9%），微软份额排行第三为9.5%，SAP以8.5排行第四，Oracle市场份额比其他...
2019-01-19 21:42:52
189
原创 数据库timestamp类型介绍
数据库中的timestamp类型类似于linux系统 中的unix timestamp,是一个记录了从格林威治时间1970年01月01日00时00分00秒(北京时间1970年01月01日08时00分00秒)起至现在的总秒数，有些数据库在此基础之上做了一些扩展，下边对于传统数据库中的timestamp类型进行 一下简单介绍：1、范围：从1970-01-01 00:00:00到2037年。 (...
2018-04-01 13:35:30
16559
原创 数据库之间的数据同步
数据库之间的数据同步有以下几种情况：第一种是在非业务工作时同构数据库之间数据同步，这种情况下，只有存量数据库。只需要将源库中的数据文件拷贝的目标库，目标库加载数据文件即可。第二种是在非业务工作时异构数据库之间的数据同步，这种情况 下，只有存量数据库。需要将源库中的数据以SQL数据形式导出，然后加载到目标库即可。第三种是在业务工作时同构数据库之间的数据同步，这种情况下，存量数据同步方法是：将从源库将...
2018-03-17 23:26:58
6990
原创 数据库中间件2：关于连接异构数据库的性能问题
关于连接异构数据库的性能问题数据库中间件的一个作用就是在应用程序和异构数据库中间，充当一个中间人的作用。例如mycat，连接mycat的协议是标准mysql jdbc协议。而mycat在后端连接数据库，可以连接oracle、mysql、db2、pg等。当mycat收到应用程序发来的请求时。会把mysql jdbc协议报文中的sql语句转化为asc||码，mycat用对应的（比如oracle,则
2017-09-05 22:26:24
722
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人