![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
并行海量数据处理
文章平均质量分 77
iteye_2705
这个作者很懒,什么都没留下…
展开
-
Hive中的ObjectInspector设计
ObjectInspector是Hive中一个咋一看比较令人困惑的概念,当初读Hive源代码时,花了很长时间才理解。 当读懂之后,发现ObjectInspector作用相当大,它解耦了数据使用和数据格式,从而提高了代码的复用程度。 简单的说,ObjectInspector接口使得Hive可以不拘泥于一种特定数据格式,使得数据流 1)在输入端和输出端切换不同的输入/输出格式 2)在不同的Operat...原创 2011-06-08 12:46:22 · 508 阅读 · 0 评论 -
Hive与并行数据仓库的体系结构比较
最近分析和比较了Hive和并行数据仓库的架构,本文记下一些体会。Hive是架构在Hadoop MapReduce Framework之上的开源数据分析系统。 Hive具有如下特点:1. 数据以HDFS文件的形式存储,从而可以很方便的使用外部文件2. 元数据存储独立于数据存储之外,从而解耦合元数据和数据,同样的数据,不同的用户可以有不同的元数据3. 查询计划被分解为多个MapRe...2010-11-10 16:41:28 · 170 阅读 · 0 评论 -
微软发布高性能并行数据仓库”Denali“ (转自CSDN)
微软在今天发布了其最新版本的高性能并行数据仓库产品和一款新的预览版本云计算产品,借助这一产品,微软希望帮助客户辨别并解决相关SQL Server的配置难题。然而在发布会中,微软透露了下一版本SQL Server的相关信息,即代号为“Denali”的项目,这也成为人们关注的焦点。在今年的PASS 2010峰会上,微软的业务平台部门高级副总裁Ted Kummert透露最新版的SQL Serve...原创 2010-11-12 13:15:29 · 268 阅读 · 0 评论