![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
sinat_28472983
这个作者很懒,什么都没留下…
展开
-
专栏笔记:基于hadoop生态圈的数据仓库实践
原专栏地址:https://blog.csdn.net/column/details/hadoop-dw.html?&page=2概述数据仓库是一个面向主题的、集成的、随时间变化的、非易失的数据集合,用于支持决策。它主要的目标是分析和处理数据,和传统的操作型事务处理有很大区别。之所以不直接在操作型系统上执行分析查询,而是从操作型系统抽取数据,最主要有以下两个原因:(1)在操作型...转载 2018-11-05 11:15:25 · 227 阅读 · 0 评论 -
Spark
spark是一个快速且通用的集群计算平台 上park是快速的 spark扩充了流行的mapreduce计算模型spark是基于内存的计算 spark是通用的spark的设计容纳了其他分布式系统拥有的功能:批处理,迭代式计算,交互查询和流处理等优点:降低了维护成本 spark是高度开放的提供了python,Java,Scala,sql的API和丰富的内置...原创 2018-11-22 22:59:44 · 351 阅读 · 0 评论 -
spark与Hadoop比较
spark与Hadoop的比较 Hadoop应用场景:离线处理,对时效性要求不高硬盘spark应用场景:基于内存时效性要求高的场景,机器学习等领域 比较spark不具有HDFS等存储能力,要借助HDFS等持久化数据...原创 2018-11-22 23:05:25 · 203 阅读 · 0 评论 -
常用SQL-on-Hadoop产品:Hive、SparkSQL、Impala、HAWQ
常用SQL-on-Hadoop产品的不足1. Hive Hive是最老牌的一款Hadoop数据仓库产品,更够部署在所有Hadoop发行版本之上。它在MapReduce计算框架上封装一个SQL语义层,极大简化了MR程序的开发。直到现在,Hive以其稳定性依然赢得大量用户。 但是Hive的缺点也很明显——速度太慢。随着技术的不断进步,Hive的执行引擎也从最初的M...转载 2018-11-23 11:35:37 · 1518 阅读 · 0 评论