![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
GBASE加油站
ww_L
这个作者很懒,什么都没留下…
展开
-
GBASE加油站——分布式数据库表分片与表分区
表分区Partition分布式数据库表分区的概念与集中式数据库表分区的概念相似,都是将一张逻辑上的大表,按照某种键值进行水平的拆分,拆分后的数据更方便查询。Partition是逻辑上的分区。例如,按照时间进行分区:表分片Sharding分布式数据库表分片的概念,是物理上的分片,将一张大表拆分到不同的数据节点上,从物理上将数据拆分,同样可以提升查询性能。例如:在一些两地三中心或多地多中心的场景时,以天津到西安为例,天津本地用户数据可以直接分片至天津地区的数据节点上,而西安用户数据则可以原创 2021-12-03 14:36:55 · 814 阅读 · 0 评论 -
GBASE加油站——容器化
目前最流行的容器化技术是Docker,最流行的容器管理服务是Kubernetes(K8S),应用/服务可以打包为Docker镜像,通过K8S来动态分发和部署镜像。Docker镜像可理解为一个能运行的应用/服务的最小的操作系统,里面放着应用/服务的运行代码,运行环境根据实际的需要设置好。把整个“操作系统”打包为一个镜像后,就可以分发到需要部署相关服务的机器上,直接启动Docker镜像就可以把服务起起来,使服务的部署和运维变得简单。...原创 2021-11-27 15:34:56 · 430 阅读 · 0 评论 -
GBASE加油站——CAP
CAP原则又称CAP定理,指的是在一个分布式系统中, Consistency(一致性)、 Availability(可用性)、Partition tolerance(分区容错性),三者不可得兼。一致性(C):在分布式系统中的所有数据备份,在同一时刻是否同样的值。(等同于所有节点访问同一份最新的数据副本) 可用性(A):在集群中一部分节点故障后,集群整体是否还能响应客户端的读写请求。(对数据更新具备高可用性) 分区容忍性(P):以实际效果而言,分区相当于对通信的时限要求。系统如果不能在时限内达成数据一原创 2021-11-27 15:33:31 · 136 阅读 · 0 评论 -
GBASE加油站——NTP
NTP服务器【Network Time Protocol(NTP)】是用来使计算机时间同步化的一种协议,NTP Server就是时间同步服务器。原创 2021-11-27 15:31:22 · 110 阅读 · 0 评论 -
GBASE加油站——CDC
Change Data Capture(变化数据捕获),通过拉取日志实现增量同步功能。利用CDC,在对源表进行INSERT、UPDATE或 DELETE等操作的同时就可以提取数据,并且变化的数据被保存在数据库的变化表中。这样就可以捕获发生变化的数据,然后利用数据库视图以一种可控的方式提供给目标系统。CDC的两个模式:同步:同步CDC主要是采用触发器记录新增数据,基本能够做到实时增量抽取。多用于同构迁移的场景。 异步:异步CDC通过分析已经commit的日志记录来得到增量数据信息,有一定的时间延迟。原创 2021-11-27 15:28:55 · 381 阅读 · 0 评论 -
GBASE加油站——ACID
事务具有4个特征,分别是原子性、一致性、隔离性和持久性,简称事务的ACID特性; 原子性(atomicity) 一个事务要么全部提交成功,要么全部失败回滚,不能只执行其中的一部分操作,这就是事务的原子性 一致性(consistency) 事务的执行不能破坏数据库数据的完整性和一致性,一个事务在执行之前和执行之后,数据库都必须处于一致性状态。 如果数据库系统在运行过程中发生故障,有些事务尚未完成就被迫中断,这些未完成的事务对数据库所作的修改有一部分已写入物理数据库,这时数据库就处于一种不原创 2021-11-27 11:32:46 · 361 阅读 · 0 评论 -
GBASE加油站——数据一致性
数据一致性强一致当更新操作完成之后,任何多个后续进程或者线程的访问都会返回最新的更新过的值。这种是对用户最友好的,就是用户上一次写什么,下一次就保证能读到什么。根据 CAP 理论,这种实现需要牺牲可用性。弱一致性系统并不保证续进程或者线程的访问都会返回最新的更新过的值。系统在数据写入成功之后,不承诺立即可以读到最新写入的值,也不会具体的承诺多久之后可以读到。最终一致性弱一致性的特定形式。系统保证在没有后续更新的前提下,系统最终返回上一次更新操作的值。在没有故障发生的前提下,不一致窗口原创 2021-11-27 11:32:07 · 295 阅读 · 0 评论 -
GBASE加油站——RTO&RPO
RTO&RPORTO(Recovery Time Objective)恢复时间目标:在故障或灾难发生之后,数据库停止工作的最高可承受时间,这是一个最大可容忍时限,必须在此时限内恢复数据。(RTO=服务可用性)RPO(Recovery Point Object)恢复时间点目标:这是一个过去的时间点,当灾难或紧急事件发生时,数据可以恢复到的时间点,是业务系统所能容忍的数据丢失量。(RPO=数据可靠性)...原创 2021-11-27 11:31:28 · 362 阅读 · 0 评论 -
GBASE加油站——数据库并发控制3
并发控制的目的是保证一个用户的工作不会对另一个用户的工作产生不合理的影响。MVCC 多版本并发控制MVCC,全称Multi-Version Concurrency Control,即多版本并发控制。MVCC通过支持数据的多版本,允许读写相同数据,实现并发,在读多写少的场景下极大的提升了性能。多版本并发控制(MVCC)是一种用来解决读-写冲突的无锁并发控制,也就是为事务分配单向增长的时间戳,为每个修改保存一个版本,版本与事务时间戳关联,读操作只读该事务开始前的数据库的快照。 所以MVCC可以为数据库原创 2021-11-27 11:22:58 · 459 阅读 · 0 评论 -
GBASE加油站——数据库并发控制2
并发控制的目的是保证一个用户的工作不会对另一个用户的工作产生不合理的影响。隔离级别SQL92标准规定了四种隔离级别,read uncommitted、read committed、repeatable read、serializable isolation。下图是ANSI SQL标准规定的事务隔离级别和有害现象的关系。ANSI标准规定了三种有害现象,脏读、不可重复读(模糊读)、幻读。并通过这三种有害现象区分出了不同的隔离级别。脏读: 读到未提交事务修改的数据; 不可重复读:事务在执行过程原创 2021-11-27 11:22:28 · 407 阅读 · 0 评论 -
GBASE加油站——数据库并发控制1
GBASE加油站——数据库并发控制1并发控制的目的是保证一个用户的工作不会对另一个用户的工作产生不合理的影响。锁机制 悲观锁 Pessimistic Lock 当要对数据库中的一条数据进行修改的时候,为了避免同时被其他人修改,最好的办法就是直接对该数据进行加锁以防止并发。这种借助数据库锁机制,在修改数据之前先锁定,再修改的方式被称之为悲观并发控制【Pessimistic Concurrency Control,缩写“PCC”,又名“悲观锁”】 乐观锁 Optimistic Lock原创 2021-11-27 11:21:45 · 379 阅读 · 0 评论