MT——黑板报

A new Dataset API Autoatic memory configuration Optimized state storage in Spark Streaming Pipeline persistence inSpark MLA new Dataset APIRDD API 使用非常灵活，但是在某些case下，比较难于优化执行。DataFrame API内部执行虽然有优化，但是la

DataFrame的目标是让开发大数据的并行程序更加简单，受众更加广泛。DF受R & Python(Pandas)启发，被设计成支持 Big Data & Data Science Application. 作为RDD API的扩展，他的特性如下： * 高扩展性 * 广泛支持各种数据格式 & 存储系统 * Spark Sql Catalyst Optimizer提供执行优化和代码生成 * 和

Spark Shuffle Write 调用链：ShuffleMapTask ---> SortShuffleManager ---> SortShuffleWriter ---> ExternalSorter在ExternalSorter发生了分区数据写内存、聚合、Spill、Merge、写文件操作。这里的内存结构为：PartitionedAppen

写文件大致路径写文件大致路径入口是：ShuffleMapTask.runTask()val manager = SparkEnv.get.shuffleManager writer = manager.getWriter[Any, Any](dep.shuffleHandle, partitionId, context) writer.write(rdd.iterator(partition, co