dataframe转化为array_疯狂Spark之DataFrame创建方式详解二(十)

最新推荐文章于 2023-05-17 21:57:45 发布
最新推荐文章于 2023-05-17 21:57:45 发布
阅读量725 收藏
点赞数
文章标签： dataframe转化为array sparksql dataframe变成csv保存

bfb0041f3dae9a550e0ddcfb625ebba4.png

创建DataFrame的几种方式

1、读取parquet文件创建DataFrame

注意：

可以将DataFrame存储成parquet文件。保存成parquet文件的方式有两种

df.write().mode(SaveMode.Overwrite).format("parquet").save("./sparksql/parquet");
df.write().mode(SaveMode.Overwrite).parquet("./sparksql/parquet");

SaveMode指定文件保存时的模式，参数解释如下。

Overwrite：覆盖

Append：追加

ErrorIfExists：如果存在就报错

Ignore：如果存在就忽略

代码演示

方式一：使用format方法

package com.gw.sparksql
import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
import org.apache.spark.sql.SQLContext
import org.apache.spark.sql.SaveMode
object Parquet {
 def main(args: Array[String]): Unit = {
 val conf = new SparkConf().setMaster("local").setAppName("parquet")
 val sc = new SparkContext(conf)
 val sqlContext = new SQLContext(sc)
    //读取json文件,读取出来的文件是RDD形式
 val jsonRDD = sc.textFile("sparksql/json")
    //将RDD转换成DataFrame形式
 val df = sqlContext.read.json(jsonRDD)
    //将DF保存为parquet文件
    df.write.mode(SaveMode.Overwrite).format("parquet").save("./sparksql/parquet")
    //读取parquet文件
 var result = sqlContext.read.parquet("./sparksql/parquet")
    result.show()
    sc.stop()
  }
}

运行结果

90004e991177c8e97eeb9f90ea8a162e.png

此时刷新项目，在项目的sparksql目录下会多出一个目录，如下图

014482609bc9d068d55c84b3f05385ed.png

方式二：使用parquet方法

package com.gw.sparksql
import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
import org.apache.spark.sql.SQLContext
import org.apache.spark.sql.SaveMode
object Parquet {
 def main(args: Array[String]): Unit = {
 val conf = new SparkConf().setMaster("local").setAppName("parquet")
 val sc = new SparkContext(conf)
 val sqlContext = new SQLContext(sc)
    //读取json文件,读取出来的文件是RDD形式
 val jsonRDD = sc.textFile("sparksql/json")
    //将RDD转换成DataFrame形式
 val df = sqlContext.read.json(jsonRDD)
    //将DF保存为parquet文件
     df.write.mode(SaveMode.Overwrite).parquet("./sparksql/parquet")
    //读取parquet文件
 var result = sqlContext.read.format("parquet").load("./sparksql/parquet")
    result.show()
    sc.stop()
  }
}

2、读取JDBC中的数据创建DataFrame(MySql为例)

在mysql数据库中新建一个库：spark,在该库中新建两张数据表:score，person

创建库语句：create database spark default charset utf8;

使用数据库：use spark

创建数据库表语句

create table score(
    id int primary key auto_increment,
    name varchar(20),
    score int
)engine=innodb default charset utf8;
create table person(
    id int primary key auto_increment,
    name varchar(20),
    age int
    )engine=innodb default charset utf8;

添加信息

insert into score values (1,'张三',98);

insert into score values (2,'李四',78);

insert into score values (3,'王五',68);

insert into score values (4,'赵六',88);

f832dadebe35dae92c88d6b1bcda831d.png

insert into person values (1,'张三',23);

insert into person values (2,'李四',33);

insert into person values (3,'王五',25);

insert into person values (4,'赵六',26);

51dd30b345f06a593dc1402dd7f03a04.png

在项目中添加连接数据库的jar包

8f4c81a2fc5662f2b8ab047be43e44c6.png

代码演示

需求：连接数据库，读取数据库中数据

方式一：

package com.gw.sparksql
import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
import org.apache.spark.sql.SQLContext
import java.util.HashMap
object Mysql {
 def main(args: Array[String]): Unit = {
 val conf = new SparkConf().setMaster("local").setAppName("mysql")
 val sc = new SparkContext(conf)
 val sqlContext = new SQLContext(sc)
 	  //第一种方式读取Mysql数据库表创建DF
    //获取数据库连接信息
 val options = new HashMap[String,String]();
		options.put("url", "jdbc:mysql://localhost:3306/spark")
		options.put("driver","com.mysql.jdbc.Driver")
		options.put("user","root")
		options.put("password", "root")
		options.put("dbtable","person")
 val person = sqlContext.read.format("jdbc").options(options).load()
		person.show()
  }
}

运行结果

7a609ce5f6293d84fa623be41638f6eb.png

方式二：

package com.gw.sparksql
import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
import org.apache.spark.sql.SQLContext
object Mysql {
 def main(args: Array[String]): Unit = {
 val conf = new SparkConf().setMaster("local").setAppName("mysql")
 val sc = new SparkContext(conf)
 val sqlContext = new SQLContext(sc)
 	  //第二种方式读取Mysql数据库表创建DF
    //获取数据库连接信息
 val reader = sqlContext.read.format("jdbc")
		reader.option("url", "jdbc:mysql://localhost:3306/spark")
		reader.option("driver","com.mysql.jdbc.Driver")
		reader.option("user","root")
		reader.option("password","root")
		reader.option("dbtable", "score")
 val score = reader.load()
		score.show()
  }
}

运行结果

011e57b266c0800ab05dd54d4cc88f7a.png

两张表连接查询

package com.gw.sparksql
import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
import org.apache.spark.sql.SQLContext
import java.util.HashMap
object Mysql {
 def main(args: Array[String]): Unit = {
 val conf = new SparkConf().setMaster("local").setAppName("mysql")
 val sc = new SparkContext(conf)
 val sqlContext = new SQLContext(sc)
 	  /**
		 * 第一种方式读取Mysql数据库表创建DF
		 */
 val options = new HashMap[String,String]();
		options.put("url", "jdbc:mysql://localhost:3306/spark")
		options.put("driver","com.mysql.jdbc.Driver")
		options.put("user","root")
		options.put("password", "root")
		options.put("dbtable","person")
 val person = sqlContext.read.format("jdbc").options(options).load()
		person.registerTempTable("person")
		/**
		 * 第二种方式读取Mysql数据库表创建DF
		 */
 val reader = sqlContext.read.format("jdbc")
		reader.option("url", "jdbc:mysql://localhost:3306/spark")
		reader.option("driver","com.mysql.jdbc.Driver")
		reader.option("user","root")
		reader.option("password","root")
		reader.option("dbtable", "score")
 val score = reader.load()
		score.registerTempTable("score")
		//连接查询
 val result = sqlContext.sql("select person.id,person.age,score.name,score.score from person,score where person.name = score.name")
		result.show()
  }
}

运行结果

f6d5478b27e4ef000ee59cfb061be75a.png

向数据库中添加数据

需求：将查询出来的数据添加到一张result表中

package com.gw.sparksql
import java.util.HashMap
import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
import org.apache.spark.sql.SQLContext
import org.apache.spark.sql.SaveMode
import java.util.Properties
object Mysql {
 def main(args: Array[String]): Unit = {
 val conf = new SparkConf().setMaster("local").setAppName("mysql")
 val sc = new SparkContext(conf)
 val sqlContext = new SQLContext(sc)
 	  /**
		 * 第一种方式读取Mysql数据库表创建DF
		 */
 val options = new HashMap[String,String]();
		options.put("url", "jdbc:mysql://localhost:3306/spark")
		options.put("driver","com.mysql.jdbc.Driver")
		options.put("user","root")
		options.put("password", "root")
		options.put("dbtable","person")
 val person = sqlContext.read.format("jdbc").options(options).load()
		person.registerTempTable("person")
		/**
		 * 第二种方式读取Mysql数据库表创建DF
		 */
 val reader = sqlContext.read.format("jdbc")
		reader.option("url", "jdbc:mysql://localhost:3306/spark")
		reader.option("driver","com.mysql.jdbc.Driver")
		reader.option("user","root")
		reader.option("password","root")
		reader.option("dbtable", "score")
 val score = reader.load()
		score.registerTempTable("score")
		//连接查询
 val result = sqlContext.sql("select person.id,person.age,score.name,score.score from person,score where person.name = score.name")
		result.show()
		/**
		 * 将数据写入到Mysql表中
		 */
 val properties = new Properties()
		properties.setProperty("user", "root")
		properties.setProperty("password", "root")
		result.write.mode(SaveMode.Append).jdbc("jdbc:mysql://localhost:3306/spark", "result", properties)
		sc.stop()
  }
}

此时在数据库中查询，发现多出一张result表，表中存储的是刚刚连接查询出来的数据

df72ce9397213b5464c17d25e937373e.png

3、读取Hive中的数据加载成DataFrame

HiveContext是SQLContext的子类，连接Hive建议使用HiveContext。

由于本地没有Hive环境，要提交到集群运行，提交命令：

./spark-submit  --master spark://node01:7077,node02:7077 
--executor-cores 1  --executor-memory 2G  --total-executor-cores 1
--class com.gw.sparksql.dataframe.CreateDFFromHive  /root/test/HiveTest.jar

代码演示

package com.gw.sparksql
import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
import org.apache.spark.sql.hive.HiveContext
import org.apache.hadoop.hive.conf.HiveConf
import org.apache.spark.sql.SaveMode
object Hive {
 def main(args: Array[String]): Unit = {
 val conf = new SparkConf().setAppName("HiveSource")
 val sc = new SparkContext(conf)
    /**
     * HiveContext是SQLContext的子类。
     */
 val hiveContext = new HiveContext(sc)
    hiveContext.sql("use spark")
    hiveContext.sql("drop table if exists student_infos")
    hiveContext.sql("create table if not exists student_infos (name string,age int) row format  delimited fields terminated by 't'")
    hiveContext.sql("load data local inpath '/root/test/student_infos' into table student_infos")
 
    hiveContext.sql("drop table if exists student_scores")
    hiveContext.sql("create table if not exists student_scores (name string,score int) row format delimited fields terminated by 't'")
    hiveContext.sql("load data local inpath '/root/test/student_scores' into table student_scores")
 
 val df = hiveContext.sql("select si.name,si.age,ss.score from student_infos si,student_scores ss where si.name = ss.name")
    hiveContext.sql("drop table if exists good_student_infos")
    /**
     * 将结果写入到hive表中
     */
    df.write.mode(SaveMode.Overwrite).saveAsTable("good_student_infos")
    sc.stop()
  }
}
weixin_39691968
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Spark2.X创建DataFrame的多种方式
01-07
一、目录 ...8、Array数组 创建DataFrame 9、Parquet数组 创建DataFrame 二、数据源 1,张飞,21,北京,80 2,关羽,23,北京,82 3,赵云,20,上海,88 4,刘备,26,上海,83 5,曹操,30,深圳,90.8 三、Maven的依赖
Spark dataframe某一列转化为Array
Buevara的博客
04-19 8160
首先，必须保证列没有空值，如果有，则需要drop $colName 为 列名 data = data.na.drop(s"$colName") 输出格式为ArrayAny data0.select(s"$cname").collect().map(_(0)) 变为String或Double需要定义函数 // 类型转换为String def ToString(s:Any):Strin...
spark dataFrame自定义函数 聚合array
mACID_lys的博客
10-25 715
spark2.4scala2.11准备环境准备数据//造数据需求//需求结果// all_v_list 不需要排序 去重即可自定义函数// 聚合函数输入数据结构// 缓存区数据结构，用于计算// 聚合函数输出值数据结构// 聚合函数是否是幂等的，即相同输入是否总是能得到相同输出// 初始化缓冲区}// 给聚合函数传入一条新数据进行处理}else{}}// 合并聚合函数缓冲区（分布式）}// 计算最终返回结果list}}注册函数//注册函数测试"""|select。
Spark（六）：DataFrame
幻神舞的专栏
12-15 3966
文章目录说明分享记录特性接口一般处理流程优点缺点代码实例spark与RDD对比总结 说明 由于某些原因，上周五未发布博客未，本文补上。 DataFrame是一种spark 1.3版本提供Spark SQL接口下的分布式数据集，继承自DataSet数据集，该概念最早由R语言和Pandas库（Python）提出。 DataFrame更像传统数据库里的表，除了数据外还包含更多的辅助信息，如列名、列值和列的属性，同时支持一些复杂的数据格式。从API应用的角度，DataFrame提供的API层次更高，比RDD编程方
spark——详解rdd常用的转化和行动操作
TechFlow的博客
04-19 1474
本文始发于个人公众号：TechFlow，原创不易，求个关注 今天是spark第三篇文章，我们继续来看RDD的一些操作。 我们前文说道在spark当中RDD的操作可以分为两种，一种是转化操作(transformation），另一种是行动操作(action)。在转化操作当中，spark不会为我们计算结果，而是会生成一个新的RDD节点，记录下这个操作。只有在行动操作执行的时候，spark才会从头开始计...
Spark中将将数据Array或者list转为dataFrame编造数据
qq_43206847的博客
06-28 2380
Spark中将将数据Array或者list转为dataFrame编造数据这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 其实只是为了编造数据，找了几篇都不满意。项目中使用的
JAVA spark创建DataFrame的方法
09-07
主要介绍了JAVA spark创建DataFrame的方法，帮助大家更好的理解和学习spark，感兴趣的朋友可以了解下
pandas和spark dataframe互相转换实例详解
09-17
主要介绍了pandas和spark dataframe互相转换实例详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
Spark创建RDD、DataFrame各种情况的默认分区数
01-27
本文总结Spark通过各种函数创建RDD、DataFrame时默认的分区数，其中主要和sc.defaultParallelism、sc.defaultMinPartitions以及HDFS文件的Block数量有关，还有很坑的某些情况的默认分区数为1。如果分区数少，那么...
spark sql 类型转换array_Spark SQL：怎样修改DataFrame列的数据类型？
weixin_39693950的博客
12-30 791
要修改Spark DataFrame的列类型，可以使用"withColumn()"、"cast转换函数"、"selectExpr()"以及SQL表达式。需要注意的是，要转换的类型必须是DataType类的子类。在Spark中，我们可以将DataFrame列修改(或转换)为以下类型，它们都是DataType类的子类：ArrayTypeBinaryTypeBooleanTypeCalendarInte...
sparksql 插入 array 泛型问题
yy的博客
01-06 266
// _ooOoo_ // o8888888o // 88" . "88 // (| -_- |) // O\ = /O // ____/`---'\____ // .
Spark SQL编程之DataFrame
hu10131013的博客
04-24 2275
Spark SQL 特性 易整合 统一的数据访问方式 兼容hive 标准的数据链接 Spark SQL是Spark用来处理结构化数据的一个模块，它提供了2个编程抽象：DataFrame和DataSet，并且作为分布式SQL查询引擎的作用 SparkSession创建 在老的版本中，SparkSQL提供两种SQL查询起始点：一个叫SQLContext，用于Spark自己提供的SQL查询；一个叫HiveContext，用于连接Hive的查询。 SparkSession是Spark...
spark sql 数据类型转换_SparkSql 数据类型转换
weixin_39562579的博客
12-18 2302
1、SparkSql数据类型1.1数字类型ByteType：代表一个字节的整数。范围是-128到127ShortType：代表两个字节的整数。范围是-32768到32767IntegerType：代表4个字节的整数。范围是-2147483648到2147483647LongType：代表8个字节的整数。范围是-9223372036854775808到9223372036854775807Float...
Spark SQL 内置函数（一）Array Functions（基于 Spark 3.2.0）
热门推荐
Shockang的博客
11-18 1万+
前言 本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！ 本专栏目录结构和参考文献请见1000个问题搞定大数据技术体系 正文 array(expr, …) 描述 返回给定元素组成的数组。 实践 SELECT array(1, 2, 3); +--------------+ |array(1, 2, 3)| +--------------+ | [1, 2, 3]| +--------------+ array_cont
spark.sql中的Array[Struct]类型查询
superY_26的博客
02-14 4616
背景 我们要查询类似以下结构的数据，但是要筛选出指定key值的数据。 解决方案 一般方法将数组covers字段进行explode()操作展开，生成一个包含covers中struct类型元素的临时表，然后再将临时表中的struct类型字段的各个字段展开。最终生成一个id，key，type的表。得到这个表时便可以指定key进行查询了。但是这个方法需要进行三步，非常麻烦。 使用LATERAL VIEW explode(covers) adTable AS cover可以一步到位。 LATERAL VIEW介绍
hive json解析_Spark SQL源码剖析（一）SQL解析框架Catalyst流程概述
weixin_39884412的博客
11-24 137
Spark SQL模块，主要就是处理跟SQL解析相关的一些内容，说得更通俗点就是怎么把一个SQL语句解析成Dataframe或者说RDD的任务。以Spark 2.4.3为例，Spark SQL这个大模块分为三个子模块，如下图所示其中Catalyst可以说是Spark内部专门用来解析SQL的一个框架，在Hive中类似的框架是Calcite（将SQL解析成MapReduce任务）。Catalyst将S...
Spark_DataFrame创建及使用
weixin_44449054的博客
03-03 696
标题DataFrame创建1.通过sparkSession构建DataFrame2.通过RDD配合case class进行转换DF3.通过DataSet调用.toDF进行转换DFDataFrame的使用1.DSL风格语法2.SQL风格语法 DataFrame创建 1.通过sparkSession构建DataFrame 1、读取文本文件 val personDF2 = spark.read.text("file:///export/servers/person.txt") 2、读取json文件创建Data
Spark SQL 中的array类的函数例子
weixin_43323871的博客
05-17 948
Spark SQL 中的array类的函数例子
spark sql 类型转换array_Spark简介
weixin_42403771的博客
01-04 813
作者：梁伟雄作者简介：Spark爱好者前置知识在我们一起学习Spark之前，我们需要先了解Spark在整个Hadoop生态圈的位置。如下图(图片来源于网络,如有侵权请告知删除)：上图自下而上描绘了数据在整个Hadoop生态圈的流转过程。首先，我们会通过Flume、Sqoop、DataX等数据采集工具把数据从数据源抽取到HDFS分布式文件系统并以三副本的形式保存。这里的数据源有很多种，如日...
dataframe scala 修改值_【Spark学习笔记】 Scala DataFrame操作大全
最新发布
06-01
好的，你的问题是如何在 Scala 中修改 DataFrame 中的值？ 在 Scala 中，可以使用 `withColumn` 方法来修改 DataFrame 中的某一列的值。下面是一个简单的示例： ```scala import org.apache.spark.sql.functions._ val df = Seq( (1, "John", 25), (2, "Jane", 30), (3, "Bob", 35) ).toDF("id", "name", "age") // 将 age 列的值乘以 2 val newDf = df.withColumn("age", col("age") * 2) newDf.show() ``` 输出结果为： ``` +---+----+---+ | id|name|age| +---+----+---+ | 1|John| 50| | 2|Jane| 60| | 3| Bob| 70| +---+----+---+ ``` 在上面的示例中，我们使用 `withColumn` 方法将 age 列的值乘以 2，然后将修改后的 DataFrame 赋值给一个新的变量 `newDf`。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值