Vertica 原理 一

        Vertica实战主要是讲解真实的操作,Vertica原理是对Vertica一些实现原理的讲解。

        一:历史

                 Vertica由数据之父Michael Stonebraker创建,在2006年发布了0.9版本,而后在2011年3月由HP收购,目前已经到了7.0版本。

        二:MPP架构

                 MPP即大规模并行处理(Massively Parallel Processor )。 在数据库非共享集群中,每个节点都有独立的磁盘存储系统和内存系统,业务数据根据数据库模型和应用特点划分到各个节点上,每台数据节点通过专用网络或者商业通用网络互相连接,彼此协同计算,作为整体提供数据 库服务。非共享数据库集群有完全的可伸缩性、高可用、高性能、优秀的性价比、资源共享等优势。

                收个人水平限制,我接触过的MPP数据库,目前为止只有GreenPlum和Vertica,相对来说,对Vertica的了解更全面。Vertica和GreenPlum结构上的区别,前者是无共享架构,后者是master-slave架构。

 

               从架构上来说,二者各有利弊,Master-slave的主节点会成为一个瓶颈,包括主节点损坏后机群不可用(需要添加standby节点),机群规模扩大后主节点性能下降而带来的扩展性问题,数据库连接数受限制的瓶颈。无共享架构的扩展性会更好,每个节点都可以作为主节点,数据库连接数瓶颈也不存在了;缺点是每个节点都需要保存一份元数据,并且是实时维护catalog(vertica的元数据)的内存信息。客户端应该连接那个节点可以达到性能最优,需要由客户端应用来决定,Vertica7配合他自己的JDBC,可以达到一定得优化。


        三:列式存储与压缩

                目前的OLAP数据库大都采用了列式存储,列村的优势在这里也就不细说。

                压缩式Vertica的一大特色。它分为Encoding 和 Compression 两种方式。Encoding是一种后台数据存储的优化技术,所以在对数据既能保证高压缩比,又能保证快速读取。当然对数据也有一定得要求。Compression就是在保存数据时对数据进行压缩,使用或查询数据时进行解压缩。会对CPU有一定得消耗。


        四:高可用性

                后台存储类似于HDFS,每一份数据都至少保存2份,并且位于不同节点上。节点数据恢复备份都是自动在后台进行。

      

        五:DBD(Database Designer)

                通过运行自动生成的DBD脚本,可以不断优化数据库查询。

Database Designer (DBD) recommends a physical database design that
provides the best performance for the user's workload


 

       



评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值