![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
08 大数据核心开发技术 - 内存计算框架Spark
启用了内存分布数据集,除
了能够提供交互式查询外,它还可以优化迭代工作负载。Spark Streaming: 构建在Spark上处理Stream数据的框架,基本的原理是将Stream数据分成小的时间片断
(几秒),以类似batch批量处理的方式来处理这小部分数据
YanLzh_MAlone
这个作者很懒,什么都没留下…
展开
-
0804-SparkStreaming
0804-SparkStreaming第一章 Spark Streaming概述1.1 Spark Streaming是什么1.2 Spark Streaming架构第二章 Dstream入门2.1 WordCount 案例2.2 WordCount 解析第三章 Dstream 整合 Kafka3.1 用法及说明3.2 案例第四章 Dstream转换 第一章 Spark Streaming概述 1...原创 2019-12-18 19:30:01 · 141 阅读 · 0 评论 -
0803-SparkSQL
0803-SparkSQL第一章 SparkSQL 概述1.1 什么是SparkSQL1.2 SparkSQL特点1.3 DataFrame1.4 DataSet第二章 SparkSQL 编程2.1 SparkSession第三章 SparkSQL 数据源第四章 SparkSQL 实战 第一章 SparkSQL 概述 1.1 什么是SparkSQL Spark SQL是Spark用来处理结构化数...原创 2019-12-17 23:02:50 · 242 阅读 · 0 评论 -
0802-SparkCore
第一章 RDD概述 1.0 比较Java IO和RDD 1.0.1 Java IO中的装饰者设计模式 1.0.2 RDD 1.1 什么是RDD 官方定义: RDD(Resilient Distributed Dataset)叫做分布式数据集,是Spark中最基本的数据抽象。代码中是一个抽象类,它代表一个不可变、可分区、里面的元素可并行计算的集合。 通俗理解: (1) RDD是Spark中的...原创 2019-12-16 18:05:27 · 223 阅读 · 0 评论 -
0801-Spark基础解析
0801-Spark基础解析第一章 Spark概述1.1 什么是spark1.2 spark内置模块第二章 Spark核心机制第三章 Spark运行模式3.1 Local 模式3.1.1 概述3.1.2 安装使用3.2 Standalone 模式3.2.1 概述3.2.2 安装使用3.3 YARN 模式3.3.1 概述3.3.2 安装使用3.4 几种模式对比第四章 案例实操4.1 手写WordCo...原创 2019-12-13 18:08:47 · 124 阅读 · 0 评论