Spark
文章平均质量分 90
大数据计算框架Spark
Keven He
一个热爱技术的大数据开发者
展开
-
Spark提交参数说明和常见优化
会用spark,会调api和能用好spark是两回事,在进行开发的过程中,不仅要了解运行原理,还要了解业务,将合适的方法和业务场景合适的结合在一起,才能发挥最大的价值。原创 2022-08-03 11:09:19 · 519 阅读 · 0 评论 -
Spark调优(提交作业资源参数调优)
Spark提交作业job的时候要指定该job可以使用的CPU、内存等资源参数,生产环境中,任务资源分配不足会导致该job执行中断、失败等问题,所以对Spark的job资源参数分配调优非常重要。原创 2022-06-25 22:47:15 · 1094 阅读 · 0 评论 -
Spark Streaming与流处理
Spark Streaming与流处理介绍和案例原创 2022-06-01 16:58:41 · 690 阅读 · 0 评论 -
Spark 累加器与广播变量
Spark累加器和广播变量原创 2022-06-01 16:30:30 · 422 阅读 · 0 评论 -
Spark部署模式与作业提交
Spark部署模式及作业提交原创 2022-06-01 16:15:53 · 759 阅读 · 0 评论 -
Spark的Transformation和Action常用算子
Spark的Transformation和Action常用算子原创 2022-06-01 16:06:24 · 341 阅读 · 0 评论 -
Spark弹性式数据集RDD
Spark弹性式数据集RDD原创 2022-06-01 15:33:33 · 167 阅读 · 0 评论 -
Spark开发环境搭建
Spark开发环境搭建部署原创 2022-06-01 15:29:50 · 1407 阅读 · 0 评论 -
Spark简介
Spark 于 2009 年诞生于加州大学伯克利分校 AMPLab,2013 年被捐赠给 Apache 软件基金会,2014 年 2 月成为 Apache 的顶级项目。相对于 MapReduce 的批处理计算,Spark 可以带来上百倍的性能提升,因此它成为继 MapReduce 之后,最为广泛使用的分布式计算框架。Apache Spark 具有以下特点:执行过程:Spark 基于 Spark Core 扩展了四个核心组件,分别用于满足不同领域的计算需求。Spark SQLSpark SQL 主要用于结原创 2022-06-01 15:24:31 · 18912 阅读 · 0 评论