存储原理及技术选型

最新推荐文章于 2023-07-27 15:18:01 发布

江晓曼*凡云基地

最新推荐文章于 2023-07-27 15:18:01 发布

阅读量519

点赞数

分类专栏：数据库

本文链接：https://blog.csdn.net/simplemurrina/article/details/52021130

版权

数据库专栏收录该内容

18 篇文章 0 订阅

订阅专栏

基本常识（存储瓶颈）

磁盘存储：

寻址：毫秒级
带宽：百兆

内存存储

寻址：纳秒级

秒>毫秒>微妙>纳秒寻址内存是磁盘的10W倍

FastDFS高可用集群

Kafka是什么？

Kafka是一种消息队列，具备持久存储能力，可重复消费（有时也可以作为一种存储【存储层技术+时间戳】：时序数据库）。

ODS 贴源 DW 拉链。。。有些懵圈

数据的分层存储：

数据仓库的数据存储是分层级的，这个架构一方面跟数据拉取方式有关，一方面也是为了对数据进行层级的抽象处理。一个最简单的数据仓库分为三层，贴源层(ODS） ,历史存储层(HIS）,数据模型层(DM）。

ODS——操作性数据

贴源层：数据和源体系数据保持一致。一方面，能够保证我们数据仓库的数据来源是真实存在的，另一方面，在出了问题方便进行核对。

DW——数据仓库

DM——数据集市

关系型数据存储结构

数据库（Database）是按照数据结构来组织、存储和管理数据的仓库，它产生于距今六十多年前，随着信息技术和市场的发展，特别是二十世纪九十年代以后，数据管理不再仅仅是存储和管理数据，而转变成用户所需要的各种数据管理的方式。数据库有很多种类型，从最简单的存储有各种数据的表格到能够进行海量数据存储的大型数据库系统都在各个方面得到了广泛的应用。

在信息化社会，充分有效地管理和利用各类信息资源，是进行科学研究和决策管理的前提条件。数据库技术是管理信息系统、办公自动化系统、决策支持系统等各类信息系统的核心部分，是进行科学研究和决策管理的重要技术手段。
常用数据库：
1. IBM 的DB2
作为关系数据库领域的开拓者和领航人， IBM在1997年完成了System R系统的原型，1980年开始提供集成的数据库服务器—— System/38，随后是 SQL/DSforV SE和 VM，其初始版本与SystemR研究原型密切相关。DB2 for MVSV1 在1983年推出。该版本的目标是提供这一新方案所承诺的简单性，数据不相关性和用户生产率。1988年DB2 for MVS 提供了强大的在线事务处理（ OLTP）支持，1989 年和1993 年分别以远程工作单元和分布式工作单元实现了分布式数据库支持。最近推出的DB2 Universal Databa se 6.1则是通用数据库的典范，是第一个具备网上功能的多媒体关系数据库管理系统，支持包括Linux在内的一系列平台。
2. Oracle
Oracle 前身叫 SDL，由Larry Ellison 和另两个编程人员在1977创办，他们开发了自己的拳头产品，在市场上大量销售，1979 年， Oracle公司引入了第一个商用 SQL 关系数据库管理系统。 Oracle公司是最早开发关系数据库的厂商之一，其产品支持最广泛的操作系统平台。目前Oracle关系数据库产品的市场占有率名列前茅。
3. Informix
Informix在1980年成立，目的是为Unix等开放操作系统提供专业的关系型数据库产品。公司的名称Informix便是取自Information 和Unix的结合。Informix第一个真正支持SQL语言的关系数据库产品是Informix SE（StandardEngine）。InformixSE是在当时的微机Unix环境下主要的数据库产品。它也是第一个被移植到Linux上的商业数据库产品。
4. Sybase
Sybase公司成立于1984年，公司名称“Sybase”取自“system”和 “database” 相结合的含义。Sybase公司的创始人之一Bob Epstein 是Ingres 大学版（与System/R同时期的关系数据库模型产品）的主要设计人员。公司的第一个关系数据库产品是1987年5月推出的Sybase SQLServer1.0。Sybase首先提出Client/Server 数据库体系结构的思想，并率先在Sybase SQLServer 中实现。
5. SQL Server
1987 年，微软和 IBM合作开发完成OS/2，IBM 在其销售的OS/2 ExtendedEdition 系统中绑定了OS/2Database Manager，而微软产品线中尚缺少数据库产品。为此，微软将目光投向Sybase，同Sybase 签订了合作协议，使用Sybase的技术开发基于OS/2平台的关系型数据库。1989年，微软发布了SQL Server 1.0 版。
6. PostgreSQL
PostgreSQL 是一种特性非常齐全的自由软件的对象——关系性数据库管理系统（ORDBMS），它的很多特性是当今许多商业数据库的前身。PostgreSQL最早开始于BSD的Ingres项目。PostgreSQL 的特性覆盖了SQL-2/SQL-92和SQL-3。首先，它包括了可以说是目前世界上最丰富的数据类型的支持；其次，目前PostgreSQL 是唯一支持事务、子查询、多版本并行控制系统、数据完整性检查等特性的唯一的一种自由软件的数据库管理系统.
7.mySQL
mySQL是一个小型关系型数据库管理系统，开发者为瑞典MySQL AB公司。在2008年1月16号被Sun公司收购。目前MySQL被广泛地应用在Internet上的中小型网站中。由于其体积小、速度快、总体拥有成本低，尤其是开放源码这一特点，许多中小型网站为了降低网站总体拥有成本而选择了MySQL作为网站数据库。MySQL的官方网站的网址是： www.mysql.com
推荐：顶级数据库迁移工具 ESF Database Migration Toolkit