数据管理
文章平均质量分 88
Mirevas
这个作者很懒,什么都没留下…
展开
-
数据管理技术(四)HBase所处的的系统生态Hadoop
HBase概述HBase是一个高可靠、高性能、面向列、可伸缩的分布式数据库是谷歌Big Table的开源实现,主要用来存储非结构化和半结构化的松散数据HadoopHadoop是什么Hadoop是一个开源的可运行于大规模集群上的分布式文件系统和运行处理基础框架Hadoop擅长于在廉价机器搭建的集群上进行海量数据(结构化与非结构化)的存储与离线处理。Hadoop就是一种用来处理大数据的技术,用来解决并行计算与分布式计算中的技术难题。Hadoop的发展HBase所处系原创 2021-09-17 17:52:47 · 584 阅读 · 0 评论 -
数据管理技术(三)列式存储数据库与HBase基础
列式存储数据库概述列式数据库是以列相关存储架构进行数据存储的数据库,主要适合于批量数据处理和及时查询。列式数据库把一列中的数据值串在一起存储起来,然后存储下一列的数据。行式数据库的特点数据按行存储操作某列必需读入整行建索引或聚合表需花费大量时间和资源列式存储数据库特点数据按列存储->每一列单独存放数据即是索引只访问查询涉及的列->大量降低系统IO每一列由一个线程来处理->查询并发处理数据类型一致,数据特征相似->方便压缩传统的行存储数据库存储的数原创 2021-09-15 16:59:57 · 460 阅读 · 0 评论 -
数据管理技术(二)非关系型数据库简介
一、非关系型数据库相关理论CAP理论CAP:一致性(Consistency)、可用性(Availability)和分区容忍性(Partition tolerance)一致性Consistency任何一个读操作总是能读取到之前完成的写操作,也就是在分布式环境中,多点的数据是一致的。分布式系统对于一致性的要求为当更新写入操作完成时,其余读取操作需要及时看到数据的更新可用性Availability每一个操作总是能够在确定的时间内返回,也就是系统随时都是可用的一个系统从设计到实施都应该原创 2021-08-31 16:15:15 · 1470 阅读 · 0 评论 -
数据管理技术(一)数据管理的发展历程
一、背景数据量的增长带来了对高效数据管理技术的需求随着网络时代与移动时代,数据产生与传播成本直线降低信息过载、信息爆炸、大数据工业级信息系统中,数据管理的特点数据量规模大且持续增长:PB/TB级数据积累,每天GB级数据流入数据格式多样:数字、文本、图、图像、视频数据分布式存储与计算二、数据管理技术的发展计算机进行数据管理的方式,主要取决于数据在机器中的存储结构和处理方式根据存储结构和处理方式,数据管理技术可分为三个阶段人工管理阶段(20世纪50年代中期以前)原创 2021-08-31 11:22:24 · 3690 阅读 · 0 评论