![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
数据库中件间
拔萝卜-
hehe
展开
-
clickhouse源码分析
clickhouse源码分析(一)简单介绍clichouse是由俄罗斯yandex公司的大数据引擎团队开发的分析型数据库。在2016年发布,经过几年的跌代现在被国内外很多大小公司在各种场景使用。clickhouse的轻量级,多种协议接口,SQL兼容性,优秀的导入和查询速度等等特性。被国内外的企业和数据分析从业人员所喜欢。代码下载clickhouse github链 接https://github.com/ClickHouse/ClickHouse.git 下载的时候最好使用git下载(下载的代码的原创 2021-04-01 14:11:41 · 1269 阅读 · 4 评论 -
TPCC、TPCH优化点图示
TPCC、TPCH优化点图示原创 2021-02-08 17:25:20 · 566 阅读 · 0 评论 -
postgres之无逻辑复制槽的逻辑复制
postgres自身提供的xlog(wal解析)功能,将数据的数据操作按着事务,依次放到逻辑复制槽中,(复制槽中可以用一些解析插件将wal解析为各种形式)然后能过walsender发出。这样的机制为之后的开发者降低了不少难度,但是逻辑复制槽在做逻辑复制的时候会占用过期的xid,如果逻辑复制槽断开后占用了一个很老的xid那会就会影响会postgres的autovacuum。一个正确的和高性能的方式逻辑同步方式,应该舍弃逻辑复制槽,自行对wal(xlog)进行解析,有以下几个问题:其一,由于wal是写入原创 2020-06-09 01:18:07 · 686 阅读 · 0 评论 -
pgbouncer介绍和原理
pgbouncer是一个轻量级postgres连接池,可以使postgres支持高并发的应用场景。在高并发应用场景下减少资源申请和释放开销,能更快的响应客户端请求。安装pgbouncer,安装有两种方法,一种是二进制直接安装,这样就在网上找对到对应平台的指定版本。第二种是源码编译安装,下载指定版本的源码,然后configure,如果缺少哪些包可以安装(可能会缺少libevent和openssl...原创 2020-04-16 15:50:55 · 604 阅读 · 0 评论 -
postgresql为什么要使用连接池
postgres是一个多进程数据库,每当有请求接入时,后台就会起动一个后台进程来接收请求,处理请求,返回结果,在这此过程中会有大量的资源申请,当连接释放时,也会大量的资源被释放。pg的数据存储是使用的系统的,一个后台进程启动会有大量的文件被打开。申请大量的filehandle。而且pg的服务进程之间的资源有很多资源未共享。进程本身资源申请消耗也比线程大的多。在高并发的情景下,不断的新请求,新连接接...原创 2020-04-15 10:32:04 · 790 阅读 · 0 评论 -
postgres的逻辑复制原理
大家都知道数据库的逻辑复制都是通过读取wal日志然后同步。这个听起来不怎么复杂,但是其中包含一些数据库的自身机制保证事务的完整性、同步的可靠性。这段时间有一个postgres逻辑复制的产品上线,在运行过程中遇到了一些问题,在解决问题的过程中查看了下postgres逻辑复制相关的源码,对于其中的一些机制进行了整理。逻辑同步的过程包含以下几个部分:1.逻辑同步接收部分;2walsender...原创 2020-03-31 15:30:36 · 1100 阅读 · 0 评论 -
我谈数据库
数据库与操作系统、中间件合称为三大基础软件。中国的软件行业在应用程序开发上已经与国外水平相似,可能还超过国外应用软件开发行业。但是在基础软件上由于历史原因,中国的国产基础软件还是很薄弱的。例如在国内基础软件市场份额,,以数据库为例:2015年中国数据库市场,Oracle份额高达56%,远超排在第二的IBM(15.9%),微软份额排行第三为9.5%,SAP以8.5排行第四,Oracle市场份额比其他...原创 2019-01-19 21:42:52 · 188 阅读 · 0 评论 -
数据库timestamp类型介绍
数据库中的timestamp类型类似于linux系统 中的unix timestamp,是一个记录了从格林威治时间1970年01月01日00时00分00秒(北京时间1970年01月01日08时00分00秒)起至现在的总秒数,有些数据库在此基础之上做了一些扩展,下边对于传统数据库中的timestamp类型进行 一下简单介绍:1、范围:从1970-01-01 00:00:00到2037年。 (...原创 2018-04-01 13:35:30 · 16540 阅读 · 0 评论 -
数据库中间件2:关于连接异构数据库的性能问题
关于连接异构数据库的性能问题数据库中间件的一个作用就是在应用程序和异构数据库中间,充当一个中间人的作用。例如mycat,连接mycat的协议是标准mysql jdbc协议。而mycat在后端连接数据库,可以连接oracle、mysql、db2、pg等。当mycat收到应用程序发来的请求时。会把mysql jdbc协议报文中的sql语句转化为asc||码,mycat用对应的(比如oracle,则原创 2017-09-05 22:26:24 · 719 阅读 · 0 评论 -
数据库中间件1:数据库中间件的几种功能简介
数据库中间件的基本功能简介原创 2017-09-04 22:59:11 · 9922 阅读 · 1 评论