![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
sparkSQL
murphyZ
这个作者很懒,什么都没留下…
展开
-
spark2.0版本之后的sparkSQL新特性
spark2.0之后的sparkSQL1、spark2.0以后,我们操作的sql的对象为DataSet,DataFrame只是DataSet[Row] (row是弱类型)DataSet有弱类型(untyped)和强类型(typed)2、SparkSession作为新版本的上下文,可以用在sql和streaming中,SparkSession把SQLContext和HiveContext整...原创 2019-03-05 23:56:53 · 765 阅读 · 0 评论 -
DataFrame常用操作
1.1. DataFrame常用操作1.1.1. DSL风格语法//查看DataFrame中的内容personDF.show//查看DataFrame部分列中的内容personDF.select(personDF.col(“name”)).showpersonDF.select(col(“name”),col(“age”)).showpersonDF.select(“name”)...原创 2019-03-04 19:25:59 · 720 阅读 · 0 评论 -
SparkSQL & Dataframes
整理至spark官网 (官网:http://spark.apache.org)1、What is sparkSQL? (概念)2、HQL(hive sql)与sparkSQL的对比3、dataframes(概念、DF创建、DF常用操作(DSL风格、SQL风格))1、What is sparkSQL? (概念)Spark SQL是Spark用来处理结构化数据的一个模块,它提供了一个编程抽象...原创 2019-03-04 19:26:58 · 215 阅读 · 0 评论