BD_fuhong的博客

一、数据集1 张三 262 李四 313 王五 224 赵柳 195 James 35二、代码object SparkSqlDemo { def main(args: Array[String]): Unit = { //配置参数 val conf = new SparkConf().setMaster("local[*]").setAppName("...

一、基本RDD1、转化操作（1）map（）、flatMap()、filter()scala> val line = sc.textFile("/Users/Desktop/log.txt")line: org.apache.spark.rdd.RDD[String] = /Users/qanfuhong/Desktop/log.txt MapPartitionsRDD[1] ...

SparkSQL 是Spark众多组件中技术最复杂的组件之一，它同时支持 SQL 查询和 DataFrame DSL。通过引入了 SQL 的支持，大大降低了开发人员的学习和使用成本。目前，整个 SQL 、Spark ML、Spark Graph 以及 Structured Streaming 都是运行在 Catalyst Optimization & Tungsten Executi...

终于到最后一篇了，我们在前面两篇文章中《一条 SQL 在 Apache Spark 之旅（上）》和《一条 SQL 在 Apache Spark 之旅（中）》介绍了SparkSQL 之旅的 SQL 解析、逻辑计划绑定、逻辑计划优化以及物理计划生成阶段，本文我们将继续接上文，介绍SparkSQL 的全阶段代码生成以及最后的执行过程。文章目录1全阶段代码生成阶段 - WholeS...