Spark-SQL之JSON数据源

最新推荐文章于 2024-06-01 08:55:53 发布

S_Running_snail

最新推荐文章于 2024-06-01 08:55:53 发布

阅读量321

点赞数

分类专栏： spark 文章标签： SparkSQL

本文链接：https://blog.csdn.net/S_Running_snail/article/details/89281218

版权

本文介绍了Spark SQL如何处理JSON数据源，强调了JSON文件的格式要求，即每行必须包含一个独立有效的JSON对象。通过SQLContext.read.json()方法，可以将JSON数据转化为DataFrame。并提供了Java和Scala版本的示例代码。

摘要由CSDN通过智能技术生成

JSON数据源

Spark SQL可以自动推断JSON文件的元数据，并且加载其数据，创建一个DataFrame。可以使用SQLContext.read.json ()方法，针对一个元素类型为String的RDD，或者是一个JSON文件。

但是要注意的是，这里使用的JSON文件与传统意义上的JSON文件是不一样的。每行都必须，也只能包含一个，单独的，自包含的，有效的JSON对象。不能让一个JSON对象分散在多行。否则会报错。

案例：

Java版本：

package Spark_SQL.Hive_sql;

import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaPairRDD;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.api.java.function.Function;
import org.apache.spark.api.java.function.PairFunction;
import org.apache.spark.sql.Dataset;
import org.apache.spark.sql.Row;
import org.apache.spark.sql.RowFactory;
import org.apache.spark.sql.SQLContext;
import org.apache.spark.sql.types.DataTypes;
import org.apache.spark.sql.types.StructField;
import org.apache.spark.sql.types.StructType;
import scala.Tuple2;

import java.util.ArrayList;
import java.util.List;
import static org.apache.spark.sql.types.DataTypes.IntegerType;
import static org.apache.spark.sql.types.DataTypes.StringType;

/**
 * @Date: 2019/3/16 9:13
 * @Author Angle
 */

/*
* 利用json数据源执行sql
* 查询json文件中成绩大于80的学生的信息
*
* 1、读取json文件，查询成绩大于80学生姓名
* 2、针对json字符串创建DataFrame，查询出符合条件姓名的成绩
* 3、进行join连接，保存到文件
*
* */
publi