m0_70882914的博客

spark：Structured Streaming介绍

Spark SQL的离线数仓开发

Spark数据源的读取与写入、自定义函数

Spark内置函数:字符串、日期和时间函数、聚合函数、数值函数、条件判断函数、窗口函数

spark:数据的关联与合并、缓存和checkpoint

DataFrame介绍及使用

SparkSQL介绍及使用

RDD优化：缓存和checkpoint机制、数据共享（广播变量、累加器）、RDD的依赖关系、shuffle过程、并行度说明

transformation 转换算子对RDD数据进行转化得到新的RDD，定义了一个线程任务。常见：map、filter、flatMap、reduceByKey、groupByKey、sortByKeyaction 执行算子触发计算任务，让计算任务进行执行，得到结果。触发线程执行的。常见：foreach、first、count、reduce、saveAsTextFile、collect、take。

Hadoop服务端口号、Spark端口号、Hive端口号以及启动命令

RDD的介绍、RDD的特点、创建RDD数据

数据处理方式（单机数据处理、集群数据处理）、分布式计算框架、Spark的分布式计算、多任务以及进程和线程的区别