Spark
你的男孩.
计算机的世界有无数道门窗 无论我们打开哪一道 都能收获无穷尽的风景
展开
-
Hive on Spark遇到的问题总结
装了一个多星期的hive on spark 遇到了许多坑。还是写一篇随笔,免得以后自己忘记了。同事也给我一样苦逼的人参考。先说明一下,这里说的Hive on Spark是Hive跑在Spark上,用的是Spark执行引擎,而不是MapReduce,和Hive on Tez的道理一样。先看官网的资源Hive on Spark: Getting Started要想在Hive中使用Spark执行引...原创 2019-07-18 08:56:50 · 2728 阅读 · 0 评论 -
Spark精选面试题(笔试部分)
. Spark 的四大组件下面哪个不是 (D )A.Spark Streaming B MlibC Graphx D Spark R2.下面哪个端口不是 spark 自带服务的端口 (C )A.8080 B.4040 C.8090 D.180803.spark 1.4 版本的最大变化 (B )A spark sql Release 版本 B 引入 Spark RC DataFrame...原创 2019-07-16 09:22:29 · 1647 阅读 · 0 评论 -
DAG作为大数据引擎的优点
TL;DR - Conceptually DAG model is a strict generalization of MapReduce model. DAG-based systems like Spark and Tez that are aware of the whole DAG of operations can do better global optimizations than...原创 2019-07-19 21:13:29 · 663 阅读 · 0 评论 -
Spark的认识与理解
...转载 2019-07-19 21:21:26 · 1296 阅读 · 0 评论 -
Spark三种部署方式
目前Apache Spark支持三种分布式部署方式,分别是standalone、spark on mesos和 spark on YARN,其中,第一种类似于MapReduce 1.0所采用的模式,内部实现了容错性和资源管理,后两种则是未来发展的趋势,部分容错性和资源管理交由统一的资源管理系统完成:让Spark运行在一个通用的资源管理系统之上,这样可以与其他计算框架,比如MapReduce,公用一...原创 2019-07-18 07:25:10 · 2148 阅读 · 0 评论