spark:从入门到实战(网课笔记)
spark
Avery123123
计算机研究生机器学习方向毕业,目前从事金融交易云数据方向工作,想总结一下并督促自己向各位大佬学习学习
展开
-
spark-----Spark SQL
spark-----Spark SQLspark-----Spark SQLSparkSQL概述SparkSQL是什么Hive and SparkSQLSparkSQL特点易整合统一的数据访问兼容Hive标准数据连接DataFrame是什么DataSet是什么SparkSQL核心编程新的起点 spark-----Spark SQL SparkSQL概述 SparkSQL是什么 Hive and SparkSQL SparkSQL特点 易整合 统一的数据访问 兼容Hive 标准数据连原创 2020-06-28 18:10:10 · 313 阅读 · 0 评论 -
spark-----核心编程
spark-----核心编程spark-----核心编程RDD什么是RDD核心属性执行原理基础编程RDD创建RDD并行度与分区RDD转换算子RDD行动算子RDD序列化RDD依赖关系RDD持久化RDD分区器RDD文件读取与保存累加器实现原理基础编程系统累加器广播变量实现原理 spark-----核心编程 RDD 什么是RDD 核心属性 执行原理 基础编程 RDD创建 RDD并行度与分区 RDD转换算子原创 2020-06-27 15:57:00 · 217 阅读 · 0 评论 -
spark-----基本概念
spark-----基本概念spark-----基本概念什么是SparkSpark和HadoopSpark or HadoopSpark核心模块Spark 运行架构运行架构核心组件用于计算DriverExecutor用于资源调度Master&Worker用于资源和计算解耦合ApplicationMaster核心概念Executor与Core并行度(Parallelism)一个作业内部:有向无环图(DAG)提交流程 spark-----基本概念 什么是Spark Spark和Hadoop原创 2020-06-26 21:28:46 · 335 阅读 · 0 评论