spark
文章平均质量分 54
_正在学技术的胖子
这个作者很懒,什么都没留下…
展开
-
Spark 的架构原理
本文旨在记录自己所学的大数据知识。本文素材来源于李智慧老师的《从0开始学大数据》,李老师讲的大数据课程既有教相关知识的,也有教我们如何学习,如何思考的,讲的非常好。 Spark 也遵循移动计算比移动数据更划算这一大数据计算基本原则 相关概念:计算阶段,依赖关系,DAG,Spark应用,任务集合 一、Spark的计算阶段1、Spark计算本质上也是Map和reduce组成...原创 2018-12-08 18:56:23 · 607 阅读 · 0 评论 -
一Spark是什么
Spark是什么? 1、All in One。上层受益。上层的所有组件都是基于底层的Spark Core的,那么上层的所有应用都可以中底层中获益,比如我的底层速度加快了,那么上层应用的速度也会随着加快。2、Spark集成了sql、streaming、mklib、GraphX。大大减少了运维成本。3、Spark sql、streaming、mklib、GraphX都是基于底层的...原创 2018-12-04 08:28:23 · 456 阅读 · 0 评论 -
二 spark产生背景
大数据处理,一开始只有MapReduce。但hadoop MapReduce对迭代式计算、交互式计算支持不友好。但是有迭代式计算和交互式计算的需求,spark是基于这两个需求开发出来的。spark完美支持:迭代式计算、交互式计算。...原创 2018-12-04 08:31:27 · 624 阅读 · 0 评论 -
三 Spark应用提交流程
前置概念:一、Master 和Worker 分别用于分配资源和管理资源。从资源维度来看,一个程序运行分为两个阶段。1、阶段1,先在Master上注册程序,让Master给程序分配资源,分配完之后。2、阶段2,程序就在Worker上用这些资源。二、Driver和Executor是对于应用程序(App,即jar包)来说的。 如果用的是Yarn或是Mesos这些资源管理框架时...原创 2018-12-04 08:34:37 · 409 阅读 · 0 评论 -
四 Spark应用提交与调试总结
一、Spark提交应用程序步骤1、进入Spark安装目录/bin,调用spark-submit脚本2、在脚本后面指定参数1、--class 指定应用主类2、--master 指定应用运行模式,有local、local[n]、spark://集群url:port、Mesos、Yarn-client、Yarn-cluster3、【可选】可以指定 --deploy-mode为clie...原创 2018-12-04 08:36:08 · 397 阅读 · 1 评论