![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
elpsyco
这个作者很懒,什么都没留下…
展开
-
spark任务调度和资源框架
standalone模式 使用sparksubmit提交任务,Driver运行在Client上 使用本地的Client类的main函数创建sparkcontext并初始化它 sparkcontext连接到Master,注册并申请资源 master根据sc提出的申请,根据worker的心跳报告,来决定在哪个worker上启动executor executor向sc注册,sc将应用分配给execut...原创 2019-11-28 20:49:55 · 619 阅读 · 0 评论 -
spark架构
Spark是一种快速、通用、可扩展的大数据分析引擎 Spark是基于内存计算的大数据并行计算框架 Spark Core :实现了 Spark 的基本功能,包含任务调度、内存管理、错误恢复、与存储系统 交互等模块 Spark SQL:使用 SQL 或者 Apache Hive 版本的 SQL 方言(HQL)来查询数据,Spark SQL 支持多种数据源,比 如 Hive 表、Parquet 以及...原创 2019-11-28 20:11:50 · 239 阅读 · 0 评论