Spark
文章平均质量分 93
chenshitong96
这个作者很懒,什么都没留下…
展开
-
Spark运行原理&相对mapreduce优势
Spark运行原理&相对mapreduce优势 一. 相对mapreduce优势 Spark 与 mapreduce 的重要概念区别 mapreduce 一个 mapreduce 就是一个job 一个job 包含N个task ( Map Task /Reduce Task) 一个task 对应一个进程 Task运行开启进程, task完毕后销毁进程, 对于多个task而言, 开销是比较大的 Spark Application = Driver(mian中创建SparkContex原创 2021-03-24 19:09:13 · 579 阅读 · 0 评论 -
Spark Streaming 动态读取配置
Spark Streaming 动态读取配置 为什么要动态读取配置? 在Spark 流式计算业务中, 比如通常复杂事件处理 (CEP) 的规则或者黑白名单一些配置数据. 当application 在运行期间读取相应的配置文件, 这个时候当这些名单发生改变时, 怎样能让application 动态的获取配置. 目前一般采用采用两种实现方式: 轮询拉取方式,即作业算子定时或其他方式检测在外部系统的配置是否有变更,若有则同步配置。 控制流方式,即作业除了用于计算的一个或多个普通数据流以外,还有提供一个用原创 2021-03-17 15:15:40 · 639 阅读 · 0 评论