超级会员免费看
本文详细介绍了Spark的周边技术，包括已被淘汰的Shark及其与Hive、Spark SQL的关系，SparkR的介绍、使用方式及DataFrame的基本操作，Spark Streaming的原理、与其他系统的比较及操作示例，以及Spark GraphX的应用背景、框架和PageRank演示。此外，还探讨了Spark的机器学习库MLLib，特别是线性回归实例。
一、shark
Shark自己也没用过，不太熟悉，只了解它的背景，现在已经被Spark淘汰，也不去熟悉它了！
Spark 1.0版本开始，推出了Spark SQL。
其实最早使用的，都是Hadoop自己的Hive查询引擎；但是后来Spark提供了Shark；再后来Shark被淘汰，推出了Spark SQL。Shark的性能比Hive就要高出一个数量级，而Spark SQL的性能又比Shark高出一个数量级。
最早来说，Hive的诞生，主要是因为要让那些不熟悉Java，无法深入进行MapReduce编程的数据分析师，能够使用他们熟悉的关系型数据库的SQL模型，来操作HDFS上的数据。因此推出了Hive。Hive底层基于MapReduce实现SQL功能，能够让数据分析人员，以及数据开发人员，方便的使用Hive进行数据仓库的建模和建设，然后使用SQL模型针对数据仓库中的数据进行统计和分析。但是Hive有个致命的缺陷，就是它的底层基于MapReduce，而MapReduce的shuffle又是基于磁盘的，因此导致Hive的性能异常低下。进场出现复杂的SQL ETL
订阅专栏 解锁全文
扫一扫
167
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
