SparkSQL创建RDD：<1>读取json格式的文件创建DataFrame【Java，Scala纯代码】

最新推荐文章于 2024-06-17 14:38:27 发布

道法—自然

最新推荐文章于 2024-06-17 14:38:27 发布

阅读量1.7k

点赞数

本文链接：https://blog.csdn.net/wyqwilliam/article/details/81416394

版权

本文详细介绍了如何使用SparkSQL通过Java和Scala读取json格式的文件，创建DataFrame。强调了json数据不能包含嵌套json格式，并展示了DataFrame作为Row类型RDD的特性，如df.rdd()和df.javaRdd()。同时提到了`df.show()`默认展示的数据量，以及DataFrame原生API的操作。还特别指出了当DataFrame注册为临时表时，列的显示顺序遵循ASCII顺序。

摘要由CSDN通过智能技术生成

注意：

json文件中的json数据不能嵌套json格式数据。
DataFrame是一个一个Row类型的RDD，df.rdd()/df.javaRdd()。
可以两种方式读取json格式的文件。
df.show()默认显示前20行数据。
DataFrame原生API可以操作DataFrame（不方便）。
注册成临时表时，表中的列默认按ascii顺序显示列。

Java版本

package com.bjsxt.sparksql.dataframe;

import org.apache.spark.SparkConf;
import org.apache.spark.SparkContext;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.function.Function;
import org.apache.spark.api.java.function.VoidFunction;
import org.apache.spark.sql.DataFrame;
import org.apache.spark.sql.Row;
import org.apache.spark.sql.SQLContext;
/**
 * 读取json格式的文件创建DataFrame
 * 
 * 注意 ：json文件中不能嵌套json格式的内容
 * 
 * 1.读取json格式两种方式
 * 2.df.show默认显示前20行，使用df.show(行数)显示多行
 * 3.df.javaRDD/(scala df.rdd) 将DataFrame转换成RDD
 * 4.df.printSchema()显示DataFrame中的Schema信息
 * 5.dataFram自带的API 操作DataFra