![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
文章平均质量分 94
~chun
---------------------------------------------
展开
-
Spark Sql
Spark Sql 一、Spark Sql 简介1.1 Spark SQL、Dataset、Data Frame概述1.2 SparkSession的获取1.3 DataSet的获取与使用1.3.1 Case-Class 获取DateSet1.3.2 元组 获取DateSet1.3. 3 加载json数据 获取DateSet1.4 Data Frame的获取与使用1.4.1 case-class 获取Data Frame1.4.2 元组 获取Data Frame1.4.3 json文件 获取Data Fra原创 2021-01-09 21:57:13 · 177 阅读 · 0 评论 -
Spark Streaming
Spark 流处理一、Spark Streaming1.1 流处理介绍 一、Spark Streaming 1.1 流处理介绍 一般流式计算会与批量计算相比较。在流式计算模型中,输入是持续的,可以认为在时间上是无界的,也就意味着,永远拿不到全量数据去做计算。 同时,计算结果是持续输出的,也即计算结果在时间上也是无界的。 流式计算一般对实时性要求较高,同时一般是先定义目标计算,然后数据到来之后将计算逻辑应用于数据。 为了提高计算效率,往往尽可能采用增量计算代替全量计算。批量处理模型中,一般先有全量原创 2021-01-06 22:01:24 · 206 阅读 · 0 评论 -
Spark 简介及RDD的使用
Spark 概述一一、介绍1.1 spark简介1.2 MapReduce VS Spark1.3 计算流程二、介绍一、介绍一、介绍 一、介绍 1.1 spark简介 Spark是一个快如闪电的统一计算框架(分析引擎)用于大规模数据集的处理。做数据的批处理计算性能大约是Hadoop MapReduce的10~100倍, 因为Spark使用比较先进的基于DAG 任务调度,可以将一个任务拆分成若干个阶段,然后将这些阶段分批次交给集群计算节点处理。 1.2 MapReduce VS Spark Map原创 2020-12-17 22:45:47 · 588 阅读 · 0 评论