SparkSQL
Spark SQL是Spark用来处理结构化数据的一个模块。
Spark SQL还提供了多种使用方式,包括DataFrames API和Datasets API。但无论是哪种API或者是编程语言,它们都是基于同样的执行引擎,因此你可以在不同的API之间随意切换,它们各有各的特点。
睡覺了
我现在能做的,便是以一段拙劣的文字来祭奠我那段流逝的岁月
展开
-
Spark RDD 练习
1、创建一个1-10数组的RDD,将所有元素*2形成新的RDDscala> val rdd1 = sc.parallelize(1 to 10)rdd1: org.apache.spark.rdd.RDD[Int] = ParallelCollectionRDD[2] at parallelize at <console>:24scala> val rdd2 ...原创 2020-04-13 21:16:13 · 10994 阅读 · 2 评论 -
Spark 三种方式 查询数据
1、分别给出一张表的数据:student_scores.txt字段是:班级编号,班级名称,入学日期,所属院系中文名学号,姓名,性别,所属班级编号,入学成绩170401011001 ,施礼义,男,0101,467170401011002 ,王旭,男,0101,518170401011003 ,肖桢,女,0101,509170401011004 ,吴佩东,男,0101,508170...原创 2020-04-13 21:01:37 · 11390 阅读 · 8 评论 -
SparkSQL The official introduction
Spark SQL官方介绍●官网http://spark.apache.org/sql/Spark SQL是Spark用来处理结构化数据的一个模块。Spark SQL还提供了多种使用方式,包括DataFrames API和Datasets API。但无论是哪种API或者是编程语言,它们都是基于同样的执行引擎,因此你可以在不同的API之间随意切换,它们各有各的特点。●...原创 2020-04-09 14:36:19 · 7585 阅读 · 0 评论