![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
要FINISH的!!!
ichsonx
be a better PM && SA && Programmer.......
展开
-
spark的核心思路、适用场景是什么?
1.Spark的核心思路是什么?2.Spark的适用场景是什么?首先,MapReduce-like是说架构上和多数分布式计算框架类似,Spark有分配任务的主节点(Driver)和执行计算的工作节点(Worker)其次,Low-latency基本上应该是源于Worker进程较长的生命周期,可以在一个Job过程中长驻内存执行Task,减少额转载 2015-03-22 21:09:25 · 5132 阅读 · 0 评论 -
Spark1.0.0 运行架构基本概念
问题导读:1、Spark Application的运行架构有哪些组成?2、Spark on YARN 的运行过程是什么?前言Spark Application的运行架构由两部分组成:driver program(SparkContext)和executor。Spark Application一般都是在集群中运行,比如Spark Standalone、YARN、mesos转载 2015-03-24 10:05:48 · 1047 阅读 · 0 评论 -
Spark中文手册10:spark部署:提交应用程序及独立部署模式
问题导读1.spark-submit各个参数的含义是什么?2.集群启动都包含哪些脚本?3.如何实现连接一个应用程序到集群中?Spark中文手册-编程指南Spark之一个快速的例子Spark之基本概念Spark之基本概念Spark之基本概念(2)Spark之基本概念(3)Spark-sql由入门到精通Spark-sql由入门到精通续sp转载 2015-03-24 17:00:04 · 12947 阅读 · 0 评论