![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
数据库扫盲
文章平均质量分 59
angeling2009
这个作者很懒,什么都没留下…
展开
-
CHAR,NCHAR,VARCHAR,NVARCHAR
char,nchar,varchar,nvarchar原创 2023-01-06 16:20:58 · 147 阅读 · 0 评论 -
CDC (Change Data Capture) - 变化数据捕捉
CDC 变化数据捕捉原创 2022-08-09 15:55:44 · 737 阅读 · 0 评论 -
数据库的数据分布方式
Hash分区主键Hash分区Hash结果取模一致性Hash非主键Hash分区Range分区主键Range分区非主键Range分区List分区组合分区原创 2022-03-08 12:09:16 · 3129 阅读 · 0 评论 -
Greenplum架构
架构概述基于PostgreSQL的分布式数据库,采用shared-nothing架构、主机、操作系统、内存、存储都是自我控制的,不存在共享 采用了MPP,每个SMP节点运行自己的操作系统、数据库等,每个节点内的CPU不能访问另一个节点的内存,节点之间的信息交互是通过节点互联网络实现的(数据重分配) 由master host、segment host、interconnect三大部分组成 各个节点均可配置镜像节点,当主节点不可用时,自动切换至镜像节点,当主节点恢复并启动后,将自动同步变更,确保数据不原创 2022-02-10 18:19:28 · 1146 阅读 · 0 评论 -
Greenplum学习
执行计划关联键执行sql操作时,需要进行数据关联的键值,比如group by,join分布键根据一个键值,将数据分布在不同的segment上广播和重分布数据的初次分布是通过分布键将数据分布在不同的segment上,但是当某个表的关联键与分布键不是同一个键时,需要通过重分布或者广播来实现数据关联前提:a表关联键是分布键,b表关联键不是分布键,进行a、b表关联(此处两表关联不是重点,关联键是做数据关联,并不是表关联)类别 操作 操作的数据量和选择 重分布 通原创 2022-02-10 10:03:54 · 377 阅读 · 0 评论 -
Greenplum与PostgreSQL关系
PG支持函数/存储过程 - 内置plpgsql,支持C, C++, JAVA编译语言 索引 - B-tree,哈希, Gist索引 触发器 - SQL查询时触发的事件 并发管理 MVCC - 规则 - 与触发器类似,但可以转化原SQL语义 数据类型 - 任意精度的数值类型,无限长度的文本类型,几何类型,IPV4\IPV6,CIDR块/MAC地址,数组,用户自定义类型 用户自定义对象 - 内部对象都支持自定义,如索引、操作符、类型转换等 继承 - 表继承 其他 - 二进制和文本大对象存储原创 2022-01-27 16:59:32 · 1291 阅读 · 0 评论 -
OLTP vs OLAP
数据库类型 适用场景 场景特点 用户 OLTP 联机事务处理 面向应用,事件驱动,应用简单,重吞吐,高并发 1. 数据在系统中产生 2. 基于交易的处理系统 3. 交易的数据量小 4. 响应时间要求高 5. 数据操作基于索引进行 操作人员,用户量大 OLAP 联机分析处理 面向数据仓库,重计算 1. 本身不产生数据,基础数据来源于生产系统中的操作数据 2. 基于查询的分析系统 3.原创 2022-01-27 15:32:42 · 2173 阅读 · 0 评论 -
一些专业名词解释
RTO - recovery time objective:指灾难发生后,从IT系统宕机导致业务停顿时刻开始,到IT系统恢复至可以支持各部门运作,业务恢复运营之时,此两点之间的时间段称为RTO。RTO越短,处理时延越短。RPO - recovery point objective:指从系统和应用数据而言,要实现能够恢复至可以支持各部门业务运作,系统级生产数据应恢复到怎样的更新程度。RPO越新,损失的数据越少。TPS - transaction per second:每秒事务数。处理过程包括发送事务请原创 2022-01-27 10:29:05 · 763 阅读 · 0 评论 -
时序数据库学习小结
时间序列数据 - time series data1. 时序数据是一串按时间维度索引的数据,描述了某个被测量的主体在一个时间范围内的每个时间点上的测量值。2. 时序数据用于描述一个物体在历史的时间维度上的状态变化信息,而对于时序数据的分析,就是尝试掌握并把控其变化的规律的过程。3. 包含三个元素:主体,时间点,测量值4. 数据写入特点:(1)写入平稳、持续、高并发高吞吐 (2)写多读少 (3)实时写入最近生成的数据,无更新...原创 2022-01-26 15:21:42 · 379 阅读 · 0 评论 -
倒排索引
目录CRDB中支持的倒排索引解析关于倒排索引倒排索引列类型示例通用倒排索引解析倒排索引相关概念示例CRDB中支持的倒排索引解析https://www.cockroachlabs.com/docs/v20.2/inverted-indexes.html关于倒排索引倒排索引存储从容器列(例如JSONB文档)中的值到保留该值的行的映射,用于加速搜索,例如,“输出表中包含键值对{"location":"NYC"}的JSON列的所有行。倒排索引通常用于文档检索系统。标准原创 2021-03-10 17:19:28 · 172 阅读 · 0 评论 -
数据库发展时间点
1970年 Edgar F.Codd 提出关系模型 1970年 IBM System R 1970年 Micheal Stonebraker Ingres 1979年 Oracle Or...原创 2021-03-09 15:56:57 · 119 阅读 · 0 评论 -
Oracle查询所占空间
查询表所占空间SELECT SEGMENT_NAME, SUM(BYTES)/1024/1024MB FROM USER_EXTENTS WHERE SEGMENT_NAME = 'test_table' AND SEGMENT_TYPE = 'TABLE' GROUP BY SEGMENT_NAME;SEGMENT_NAME为表名,可替换为需要查询的表名 USER_SEGMENTS视图,USER_EXTENTS视图,DBA_SEGMENTS视图,DBA_EXTENTS视图 USER_SEGM.原创 2021-02-24 17:51:51 · 512 阅读 · 0 评论 -
公有云 & 私有云及架构
目录云云计算公有云,私有云,混合云IaaS,PaaS,SaaS云数据存储中心,还能提供计算、服务和应用功能。即将电脑中所有的资料都存储到网络上,到任何一个地方,只要能上网,通过身份认证,就可以将资料找到,进行查询,修改,保存等操作。云计算指运用hadoop等分布式计算工具,将多台服务器组成一个巨大的资源池。用户使用的时候可以按需使用,在需求增长的时候,可以横向扩展。特点就在于弹性可扩展。公有云,私有云,混合云 公有云 私有云 混合云 用户 .原创 2021-01-27 16:17:26 · 2343 阅读 · 1 评论 -
SQL并行模式
目录Oracle并行模式MySQL并行查询PG并行查询Oracle并行模式什么是并行?并行是Oracle为了提高大数据量的运算效率而提供多进程协作技术,它可以让多个CPU同时处理一个计算任务,充分使用系统资源,提高计算效率。Oracle 9i之后的版本可使用该并行功能。并行的使用场景?Parallel Query(并行查询) Parallel DDL (并行DDL操作,如建表,建索引等) Parallel DML(并行DML操作,如insert,update...原创 2021-01-20 16:38:53 · 1671 阅读 · 0 评论 -
TPC-C和TPC-H
TPC - Transaction process performance council 事务处理性能测试委员会,主要成员是计算机软硬件厂家,功能是指定商务应用基准程序的标准规范、性能和价格度量,并管理测试结果的发布。公共测量标准,帮助用户做出购买决定,帮助厂商进行产品推广和市场宣传。Benchmark - 基准程序TPC-C/TPC-E 联机在线事务处理系统(OLTP)测试标准,测试结果是吞吐量(tpmC - transaction per minute)指系统每分钟可以处理的事务(5种事务)数原创 2021-01-11 15:16:25 · 726 阅读 · 0 评论 -
字符集与字符编码参考
https://www.zhihu.com/question/20152853ASCⅡ,GB2312, GBK, GB18030UNICODE, UTF-8原创 2021-01-11 14:43:06 · 48 阅读 · 0 评论 -
数据仓库、数据湖、数据平台、数据中台
存储 服务 数据仓库 结构化数据 为业务提供分析报表 数据湖 结构化数据(行和列) 半结构化数据(CSV, log, XML, JSON) 非结构化数据(电子邮件,文档,PDF) 二进制数据(图像,音频,视频) 为业务提供深度分析的数据,具有足够强的计算能力 数据平台 结构化数据、半结构化和非结构化数据 集合结构化数据和非结构化数据,为业务提供数据集 数据中台 不存储数据 将数据与业务解耦...转载 2020-12-21 16:51:08 · 178 阅读 · 0 评论