Spark
文章平均质量分 79
User-mcq
这个作者很懒,什么都没留下…
展开
-
sparkStreaming
spark_day04学习笔记 1、课程目标 1、掌握sparkStreaming原理和架构 2、掌握Dstream常用的操作 3、掌握flume整合SparkStreaming 4、掌握kafka整合SparkStreaming 2、sparkStreaming概述 2.1 sparkStreaming是什么 Spark Streaming makes it easy to build scalable fault-tolerant streaming applications SparkStre原创 2020-06-28 21:55:06 · 161 阅读 · 0 评论 -
sparksql
sparksql1、课程目标2、sparksql概述2.1 sparksql前世今生2.2 sparksql是什么3、sparksql特性4、DataFrame4.1 dataFrame是什么4.2 RDD与DataFrame优缺点对比5、DataSet5.1 dataSet是什么5.2 dataFrame和dataSet互相转换5.3 创建DataSet6、基于IDEA开发代码将rdd转换成dataFrame6.1 利用反射机制 1、课程目标 1、掌握sparksql原理 2、掌握DataFrame和D原创 2020-06-26 08:15:03 · 239 阅读 · 2 评论 -
Spark计算模型RDD
Spark计算模型RDD1.课程目标2.RDD介绍2.1RDD概念以及特性2.2RDD的五大属性3.wordcount案例详解4.RDD的构建方式5.RDD的算子操作6.RDD的依赖关系7.血统机制8.RDD的缓存机制9.checkpoint机制1010.1 DAG划分10.2 DAGScheduler10.3 TaskScheduler10.4 Worker节点10.5 Spark Job运行过程中重试机制11. Shuffle机制12.spark应用程序的执行架构 1.课程目标 掌握RDD的原理 熟练原创 2020-06-21 18:42:52 · 223 阅读 · 0 评论 -
Spark
Spark1.学习目标2.Spark基础2.1什么是Spark2.2 Spark特点:3.Spark集群搭建4. Spark集群启动5.Spark masterUI界面Running ApplicationsCompleted Applications6.配置Spark高可用集群(HA)7.Spark应用程序的运行模式8.Spark应用程序开发8.1spark-shell开发9.Spark中重要角色 1.学习目标 了解spark相关背景以及其框架特点 掌握搭建spark集群(尤其是高可用集群搭建) (重点原创 2020-06-21 13:55:37 · 405 阅读 · 3 评论