spark
水墨风漾
好人
展开
-
并发编程模型AKKA
1.AKKA简介AKKA是JAVA虚拟机JVM平台上构建高并发,分布式和容错应用的工具包。也可以理解成scala语言编写的并发框架。这个应用在spark和flink集群中master和worker通信就是应用这个框架,因此应用还是比较广泛和重要的。2.AKKA的作用:方便开发人员写出高效稳定的并发框架,不再过多的考虑线程,锁,网络通讯和资源竞争等细节。AKKAActor 模型用于解决什么问...原创 2019-08-24 21:56:53 · 601 阅读 · 0 评论 -
spark四种运行模式
spark的核心组件1.1DriverSpark 驱动器节点,用于执行 Spark 任务中的 main 方法,负责实际代码的执行工作。Driver 在 Spark 作业执行时主要负责:1.1.1) 将用户查询转化为任务;1.1.2)在 Executor 之间调度任务;1.1.3)跟踪 Executor 的执行情况;1.1.4)通过 UI 展示查询运行情况;1.2Executor...原创 2019-08-28 21:11:19 · 3091 阅读 · 0 评论 -
spark常见的RDD
RDD定义弹性分布式数据集。 是spark为简化用户的使用,对所有的底层数据进行的抽象,以面向对象的方式提供了RDD很多的方法,通过这些方法来对RDD进行计算和输出。RDD是Spark的基石,所有的上层模块全部都是由RDD来实现。RDD的特性a)不可变, 对于所有RDD的操作都将产生一个新的RDD。b)可分区, RDD是通过将数据进行分区保存的。c)弹性:存储的弹性:内存与...原创 2019-08-29 23:35:00 · 686 阅读 · 0 评论