![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
数仓
文章平均质量分 89
L13763338360
这个作者很懒,什么都没留下…
展开
-
数据库、数据仓库与数据湖
1 数据库 数据库包含关系型数据库存和非关系型数据库。我们通常所说的数据库指的是关系型数据库。关系数据库是指采用了关系模型来组织数据的数据库,其以行和列的形式存储数据。关系型数据库的主要用于联机事务处理OLTP(On-Line Transaction Processing)主要进行基本的、日常的事务处理,例如银行交易等场景。 主要特点:结构化程度高 独立性强 冗余度低2 数据仓库数据仓库 ,由数据仓库之父比尔·恩门(Bill Inmon)于1...原创 2021-09-23 08:52:50 · 1508 阅读 · 0 评论 -
HDFS优缺点及解决方案
1HDFS优点海量数据存储: HDFS可横向扩展,其存储的文件可以支持PB级别数据。 高容错性:节点丢失,系统依然可用,数据保存多个副本,副本丢失后自动恢复。 可构建在廉价(与小型机大型机比)的机器上,实现线性扩展(随着节点数量的增加,集群的存储能力,计算能力随之增加)。 大文件存储:HDFS采用数据块的方式存储数据,将一个大文件切分成多个小文件,分布存储。2 HDFS缺点HDFS有几个缺点:元数据的扩展性:NameNode是一个中央元数据服务节点,也是集群管理节点,文件系统的元数据以及.原创 2021-09-14 19:51:56 · 2151 阅读 · 0 评论 -
数仓建模和分层
目录1 数仓建模1.1 范式建模(关系型数据库)1.1.1 第一范式(1NF)1.1.2第二范式(2NF)1.1.3第三范式(3NF)1.1.4 范式建模优缺点1.2 ER实体建模(Entity-relationship model)1.2.1 ER 模型三个关键1.2.2 ER 模型约束关系1.2.3 ER模型实体类型父类与子类关系1.2.4ER模型构建流程1.2.5ER建模优缺点1.3维度建模(非关系型数据库)1.3.1 模型实现1....原创 2021-09-14 15:09:58 · 630 阅读 · 0 评论