sparkSQL----sql简介 创建DataFrame sparksql读取各种文件 Dataset的Encoder
sparksql简介Spark SQL是Spark用来处理结构化数据的一个模块网站(spark.apache.org/sql)1. 什么是DataFrames?与RDD类似, DataFrame也是一个分布式数据容器[抽象的], 然而DataFrame更像传统数据库的二维表格, 除了RDD的描述数据以外, 还记录数据的结构信息, 即 schema,与hive相似, DataFrame也支持嵌套数据类型(struct, array和map)DataFrame = RDD + S..
原创
2021-01-04 00:45:46 ·
666 阅读 ·
0 评论