Spark sql
晚春初夏的你
这个作者很懒,什么都没留下…
展开
-
SparkSQL 字符串函数
SparkSQL 字符串函数 1.样例类的定义 case class Student(name:String,subject:String,score:String) 2.测试数据展示 val spark: SparkSession = SparkSession.builder().appName("test").master("local[*]").getOrCreate() //导入隐式包 import spark.implicits._ val df= spark.sparkContext.tex原创 2020-10-20 11:16:40 · 700 阅读 · 0 评论 -
Spark SQL精华及与Hive的集成
Spark SQL精华及与Hive的集成 SQL on Hadoop --SQL是一种传统的用来进行数据分析的标准 Hive是原始的SQL-on-Hadoop解决方案 Impala:和Hive一样,提供了一种可以针对已有Hadoop数据编写SQL查询的方法 Presto:类似于Impala,未被主要供应商支持 Shark:Spark SQL的前身,设计目标是作为Hive的补充 Phoenix:基于HBase的开源SQL查询引擎 Spark SQL****架构 Spark SQL是Spark的核心组件之一(原创 2020-08-12 14:02:34 · 129 阅读 · 0 评论