RDD转DF的两种方式

最新推荐文章于 2023-08-01 07:45:12 发布
最新推荐文章于 2023-08-01 07:45:12 发布
阅读量4.7k 收藏 7
点赞数
分类专栏： 学习 # Spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46235157/article/details/105059365
版权
本文介绍了将RDD转换为DataFrame的两种方法。第一种方法是通过定义case class，使用map转换数据，再调用toDF。第二种方法适用于无法定义case class的情况，包括创建row类型的RDD、定义Schema和使用createDataFrame。
摘要由CSDN通过智能技术生成

1.第一种方式:

首先我们展示一下数据文件：

Michael, 29
Andy, 30
Justin, 19

然后我们开始编写第一种实现方法：
先写一个case calss，然后再map方式将数据转换成people形式通过toDF直接转换

def run1(sparkSession: SparkSession): Unit = {
   
		//隐式转换
	import sparkSession.implicits._
		//接收文件,是rdd类型
      val rdd: RDD[String] = sparkSession.sparkContext.textFile("data/people.txt")
      //根据逗号进行分割，将字段赋值给people
      val df: DataFrame = rdd.map(_.split(","))
      .map
最低0.47元/天 解锁文章
Michael-DM
关注
  • 0
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
SparkSQL中的RDD，DF和DS的转换
zyc2913的博客
10-12 978
package com.zyc.sparksql import java.text.SimpleDateFormat import java.util.Locale import org.apache.spark.rdd.RDD import org.apache.spark.sql.{DataFrame, SparkSession} /** * Created with IntelliJ IDEA. * Author: zyc2913@163.com * Date: 2020/10/10 13:55
spark rdd 和 DF 转换
野兽
08-07 5191
RDD   -》 DF   有两种方式 一、   一、Inferring the Schema Using Reflection   将 RDD[t]   转为一个 object ,然后 to df   val peopleDF = spark.sparkContext .textFile("examples/src/main/resources/people.txt"...
RDD转换为DF并入库处理
hyj
08-11 819
一、说明 1、在spark项目中，有时候需要将数据进行入库。可以直接将RDD转化为DataFram并将数据写入关系型数据库； 2、这里演示写入Mysql和Oracle数据库； 二、代码 package com.cn.dataFram import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} import org.apache.spark.sql.{DataFrame, SparkSessio
sparkRDD与sparkSqlDF转换
最新发布
互联网知识分享
08-01 350
中两个不同的数据抽象，但是它们之间可以进行相互转换。是一个分布式数据集，以表格形式表示数据，并提供了更丰富的查询和分析功能。schema：DataFrame的结构信息，用于指定列名和数据类型。模块中的一个数据抽象，它是一个分布式数据集，以表格形式表示数据。以分布式内存计算为基础，提供了高效的数据处理和分布式计算能力。中最早被引入的数据抽象，它是一个不可变的分布式对象集合。可以在内存中缓存数据，并允许进行数据的并行处理和转换。之间的相互转换，从而灵活地使用两者的特性。中两个重要的数据处理抽象。
SparkSQL中RDD和DF之间相互转换
Huc673619的博客
11-04 2398
package com.huc.sparkSql import org.apache.spark.rdd.RDD import org.apache.spark.sql.{DataFrame, Row, SparkSession} import org.apache.spark.{SparkConf, SparkContext} /** * 1.RDD 转换为DataFrame * 手动转换：RDD.toDF("列名1","列名2") * 通过样例类反射转换:UserRDD.map{x=>U
RDD转换成DataFrame的两种方式
jmx_bigdata的博客
10-31 2795
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/jmx_bigdata/article/details/83584495
Java和scala实现 Spark RDD转换成DataFrame的两种方法小结
08-27
Java 和 Scala 实现 Spark RDD 转换成 DataFrame 的两种方法小结 在本文中，我们将讨论如何使用 Java 和 Scala 将 Spark RDD 转换成 DataFrame，並且介绍两种实现方法。 准备数据源 在项目下新建一个 student.txt...
spark rdd 和 DF 转换
robwang151的博客
09-05 1718
分类： python-spark（14）  SPARK（54）  RDD   -》 DF   有两种方式 一、   一、Inferring the Schema Using Reflection   将 RDD[t]   转为一个 object ,然后 to df   val peopleDF = spark.sparkCont
Spark将RDD转换成DataFrame的两种方式
05-21
Spark提供了两种将RDD转换为DataFrame的方式： 1. 通过反射推断schema 可以通过case class或JavaBean来定义一个数据结构，然后通过SparkSession的createDataFrame方法将RDD转换为DataFrame。Spark会自动推断出...
RDDs转DF
UniqueChunBlog
11-29 764
一、方式1：反射的方法，但是生产上不建议使用。因为case class只能定义22个字段，有所限制。二、方式2：编程的方式，一般三步走。 1、从原始RDD创建一个RDD[Row]; 2、在步骤1中创建的RDD[Row]中，创建一个与scheam匹配的结构 3、通过SparkSession提供的createDataFrame方法将schema应用于RDD[Row]package com.spar
SparkSQL-02 RDD转换DF的两种方式
qq_15300683的博客
05-29 5464
引用原文：Interoperating with RDDsSpark SQL supports two different methods for converting existing RDDs into Datasets.The first method uses reflection to infer the schema of an RDD that contains specific t...
Spark RDD转换为DataFrame
weixin_30379531的博客
12-07 56
#构造case class，利用反射机制隐式转换 scala> import spark.implicits._ scala> val rdd= sc.textFile("input/textdata.txt") scala> case class Person(id:Int,name:String) scala> val df = rdd.ma...
Spark综合学习笔记（二十）SparkSQL实战2-RDD转DF
斯特凡今天也很帅的博客
11-25 1059
学习致谢 https://www.bilibili.com/video/BV1Xz4y1m7cv?p=57 一、使用样例类 1.要读取的文件 1 zhangsan 20 2 lisi 29 3 wangwu 25 4 zhaoliu 30 5 tianqi 35 6 kobe 40 2.代码实现 package sql import org.apache.spark.rdd.RDD import org.apache.spark.sql.{DataFrame, SparkSession} /**
Spark中RDD与DF与DS之间的转换关系
Mr.Zheng的博客
05-18 2919
前言 RDD的算子虽然丰富，但是执行效率不如DS，DF，一般业务可以用DF或者DS就能轻松完成，但是有时候业务只能通过RDD的算子来完成，下面就简单介绍之间的转换。 三者间的速度比较测试！ 这里的DS区别于sparkstream里的DStream！！ 转换关系 RDD的出现早于DS,DF。由于scala的扩展机制，必定是要用到隐式转换的！ 所以在RDD下要转DF或者DS，就应该导隐式对象包！ val conf = new SparkConf().setMaster("local[*]").setAppNa
rdd转为dataframe三种方式
m0_48714980的博客
02-19 837
rdd转为df 方法一; 使用样例类 case class Person(id:Int,name:String,age:Int) var z=x.map(y=>var arr:Array[String]=y.split(",") Person(arr(0).toInt,arr(1),arr(2).toInt)) import spark.implicits._ val persondf=z.toDF() 方法二： 指定类型+列名 var z=x.map(y=>var arr:Array[Stri
Spark两种转化为df的方法
qq_44698610的博客
11-15 2108
1.使用Row类与StructType类 转化代码： val frame: DataFrame = session.createDataFrame(rowRDD,logSchema.schema) 1>rowRDD 将array放进Row中形成Rdd val rowRDD: RDD[Row] =rddAll.map(arr => Row( arr(0), ar...
spark-RDD、DS、DF相互转换
DCHAO的博客
08-29 3625
RDD 和 DataFrame之间的转换 准备测试RDD数据 scala> val rdd=sc.makeRDD(List("Mina,19","Andy,30","Michael,29")) rdd: org.apache.spark.rdd.RDD[String] = ParallelCollectionRDD[10] at makeRDD at <console>:24 需要注意，只有import spark.implicits._之后，RDD才有toDF、toDS功能 scala
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值