大数据处理
乄康师傅乄
这个作者很懒,什么都没留下…
展开
-
Greenplum数据库简介
数据存储 Greenplum支持50PB(1PB=1024TB)级海量数据的存储和处理,Greenplum将来自不同源系统的、不同部门、不同平台的数据集成到数据库中集中存放,并且存放详尽历史的数据轨迹,业务用户不用再面对一个又一个信息孤岛,也不再困惑于不同版本数据导致的偏差,同时对于IT人员也降低管理维护工作的复杂度。它是采用MPP架构的数据库系统可以对海量数据进行管理。原创 2017-03-09 10:51:36 · 7699 阅读 · 0 评论 -
Greenplum数据库视图
视图命名规范格式:普通视图V_【具体业务含义名称】,物化视图MV_【具体业务含义名称】。视图类型1.普通视图视图本身只定义sql语句,实际数据存在于sql定义内容的实体表中。视图本身不保存任何数据,不能在视图上创建索引。2.物化视图物化视图实际上是一种特殊的物理表,物化视图通过自动或者手工方式刷新保存基表数据到物化视图中,物化视图实际占用和使用了表空间,可以在其上创建索原创 2017-03-09 11:48:58 · 5769 阅读 · 0 评论 -
Greenplum索引使用
合适的索引,能大幅度提升数据库表读的效率,但这里也不并不是说表上的索引越多越好。因此在数据库设计过程中,需要考虑创建索引的代价。在数据库中索引的维护代价约是表的3倍,并且数据表写和读两者不能兼得。如果要提高表写入性能,那么索引在一定程度上会阻碍数据的插入速度,因为数据库需要维护索引和维护数据原子性。 索引的种类有很多,常见的有B-树索引,位图索引,基于函数的索引,分区索引等等,而在现网的系原创 2017-03-09 14:24:38 · 9692 阅读 · 0 评论 -
数据存储
目前大数据存储有两种方案可供选择:行存储和列存储。业界对两种存储方案有很多争持,集中焦点是:谁能够更有效地处理海量数据,且兼顾安全、可靠、完整性。从目前发展情况看,关系数据库已经不适应这种巨大的存储量和计算要求,基本是淘汰出局。在已知的几种大数据处理软件中,Hadoop的HBase采用列存储,MongoDB是文档型的行存储,Lexst是二进制型的行存储。在这里,我不讨论这些软件的技术和优缺点,只围原创 2017-03-16 16:56:43 · 370 阅读 · 0 评论