DataFrame转化成RDD方式一

最新推荐文章于 2024-11-07 20:52:51 发布
最新推荐文章于 2024-11-07 20:52:51 发布
阅读量1k 收藏 2
点赞数
分类专栏： Spark
原文链接：https://blog.csdn.net/hjw199089/article/details/53453895
版权

DataFrame简介

DataFrame:一个命名列方式组织的分布式数据集,类似于关系数据库中的一个表 (1)可以由机构化数据文件得到 (2)hive表 (3)RDD转化

department.json文件

{"name":"Develoment Dept","depId":"1"}
{"name":"Personnel Dept","depId":"2"}
{"name":"Testing Dept","depId":"3"}

newpeople.json文件 

{"name":"John","job number":"007","age":32,"gender":"male","depId":1,"salary":4000}
{"name":"Herry","job number":"008","age":20,"gender":"female","depId":2,"salary":4000}
{"name":"Jack","job number":"009","age":26,"gender":"male","depId":3,"salary":4000}

people.json文件 

{"name":"Michael","job number":"001","age":33,"gender":"male","depId":1,"salary":3000}
{"name":"andy","job number":"002","age":30,"gender":"female","depId":2,"salary":4000}
{"name":"Justin","job number":"003","age":19,"gender":"male","depId":1,"salary":4000}
{"name":"John","job number":"004","age":32,"gender":"male","depId":1,"salary":4000}
{"name":"Herry","job number":"005","age":20,"gender":"female","depId":2,"salary":4000}
{"name":"Jack","job number":"006","age":26,"gender":"male","depId":3,"salary":4000}

package com.dt.spark.main.DataFrameLearn
 
import org.apache.log4j.{Level, Logger}
import org.apache.spark.sql.hive.HiveContext
import org.apache.spark.{SparkConf, SparkContext}
/**
  *
  */
object DataFrameSQL {
  def main(args: Array[String]) {
 
    val conf = new SparkConf()
    conf.setAppName("test")
    conf.setMaster("local")
 
    val sc = new SparkContext(conf)
 
    //设置日志级别
 
    Logger.getLogger("org.apache.spark").setLevel(Level.WARN)
    Logger.getLogger("org.apache.spark.sql").setLevel(Level.WARN)
 
    val sqlContext = new HiveContext(sc)
 
    //加载json文件
 
    val people = sqlContext.read.json("./src/com/dt/spark/main/DataFrameLearn/srcFile/people.json")
    val newpeople = sqlContext.read.json("./src/com/dt/spark/main/DataFrameLearn/srcFile/newpeople.json")
    val dept = sqlContext.read.json("./src/com/dt/spark/main/DataFrameLearn/srcFile/department.json")
 
    //==========================================
    /*
    表格形式显示DataFrame信息
    show():
            默认输出前20条
    show(n):
            可以设置参数
     */
 
    people.show()
    //    +---+-----+------+----------+-------+-------+
    //    |age|depId|gender|job number|   name|sarlary|
    //      +---+-----+------+----------+-------+-------+
    //    | 33|    1|  male|       001|Michael|   3000|
    //    | 30|    2|female|       002|   andy|   4000|
    //    | 19|    1|  male|       003| Justin|   4000|
    //    | 32|    1|  male|       004|   John|   4000|
    //    | 20|    2|female|       005|  Herry|   4000|
    //    | 26|    3|  male|       006|   Jack|   4000|
    //    +---+-----+------+----------+-------+-------+
 
    /*
      打印printSchema
    */
    people.printSchema()
    //    root
    //    |-- age: long (nullable = true)
    //    |-- depId: long (nullable = true)
    //    |-- gender: string (nullable = true)
    //    |-- job number: string (nullable = true)
    //    |-- name: string (nullable = true)
    //    |-- sarlary: long (nullable = true)
 
    //==========================================
    /*
    DataFrame基本信息的查询
    columns:已数组的形式返回列名字
    count:  返回总记录数
    take:   已数组的形式返回前n记录信息
    toJSON: 转换为JsonRDD
     */
 
    // people.columns
    people.columns.foreach(println(_))
    //    age
    //    depId
    //    gender
    //    job number
    //    name
    //    salary
 
    println(people.count())
    //6
 
    people.take(2).foreach(print(_))
    //[33,1,male,001,Michael,3000][30,2,female,002,andy,4000]
 
    people.toJSON.collect().foreach(println(_))
 
    //    {"age":33,"depId":1,"gender":"male","job number":"001","name":"Michael","salary":3000}
    //    {"age":30,"depId":2,"gender":"female","job number":"002","name":"andy","salary":4000}
    //    {"age":19,"depId":1,"gender":"male","job number":"003","name":"Justin","salary":4000}
    //    {"age":32,"depId":1,"gender":"male","job number":"004","name":"John","salary":4000}
    //    {"age":20,"depId":2,"gender":"female","job number":"005","name":"Herry","salary":4000}
    //    {"age":26,"depId":3,"gender":"male","job number":"006","name":"Jack","salary":4000}
 
   //==========================================
    /*
     DataFrame的条件查询
     filter:
     where:
    */
 
    println(people.filter("gender = 'male'").count())
    //4
    println(people.filter("age > 25").count())
    //4
 
    println(people.filter("age > 25").filter("gender = 'male'").count())
    // 3
 
    println(people.where("age > 25").count())
    //4
 
    //==========================================
    /*
    排序和分区排序
     */
    people.sort(people("age").asc).show
 
    //    +---+-----+------+----------+-------+------+
    //    |age|depId|gender|job number|   name|salary|
    //      +---+-----+------+----------+-------+------+
    //    | 19|    1|  male|       003| Justin|  4000|
    //    | 20|    2|female|       005|  Herry|  4000|
    //    | 26|    3|  male|       006|   Jack|  4000|
    //    | 30|    2|female|       002|   andy|  4000|
    //    | 32|    1|  male|       004|   John|  4000|
    //    | 33|    1|  male|       001|Michael|  3000|
    //    +---+-----+------+----------+-------+------+
 
    people.sortWithinPartitions("gender","age").show()
    //    +---+-----+------+----------+-------+------+
    //    |age|depId|gender|job number|   name|salary|
    //      +---+-----+------+----------+-------+------+
    //    | 20|    2|female|       005|  Herry|  4000|
    //    | 30|    2|female|       002|   andy|  4000|
    //    | 19|    1|  male|       003| Justin|  4000|
    //    | 26|    3|  male|       006|   Jack|  4000|
    //    | 32|    1|  male|       004|   John|  4000|
    //    | 33|    1|  male|       001|Michael|  3000|
    //    +---+-----+------+----------+-------+------+
 
    //==========================================
    /*
    增加列
     */
 
    //select only "name" column
    people.select("age").show()
 
    //    +---+
    //    |age|
    //    +---+
    //    | 33|
    //    | 30|
    //    | 19|
    //    | 32|
    //    | 20|
    //    | 26|
    //    +---+
 
    //select everybody,but increment the age by 1
    //选择同时定义
    people.select(people("age"), people("age") + 1).show()
 
    //      +---+---------+
    //      |age|(age + 1)|
    //      +---+---------+
    //      | 33|       34|
    //      | 30|       31|
    //      | 19|       20|
    //      | 32|       33|
    //      | 20|       21|
    //      | 26|       27|
    //      +---+---------+
 
    people.withColumn("level",people("age")/10).show
    //    +---+-----+------+----------+-------+------+-----+
    //    |age|depId|gender|job number|   name|salary|level|
    //    +---+-----+------+----------+-------+------+-----+
    //    | 33|    1|  male|       001|Michael|  3000|  3.3|
    //    | 30|    2|female|       002|   andy|  4000|  3.0|
    //    | 19|    1|  male|       003| Justin|  4000|  1.9|
    //    | 32|    1|  male|       004|   John|  4000|  3.2|
    //    | 20|    2|female|       005|  Herry|  4000|  2.0|
    //    | 26|    3|  male|       006|   Jack|  4000|  2.6|
    //    +---+-----+------+----------+-------+------+-----+
 
 
    //==========================================
    /*
    修改列名字
     */
    people.withColumnRenamed("job number","jobId").show()
//    +---+-----+------+-----+-------+------+
//    |age|depId|gender|jobId|   name|salary|
//    +---+-----+------+-----+-------+------+
//    | 33|    1|  male|  001|Michael|  3000|
//    | 30|    2|female|  002|   andy|  4000|
//    | 19|    1|  male|  003| Justin|  4000|
//    | 32|    1|  male|  004|   John|  4000|
//    | 20|    2|female|  005|  Herry|  4000|
//    | 26|    3|  male|  006|   Jack|  4000|
//    +---+-----+------+-----+-------+------+
 
 
    //==========================================
    /*
    unionAll操作
     */
 
    people.unionAll(newpeople).show()
    //
    //    +---+-----+------+----------+-------+------+
    //    |age|depId|gender|job number|   name|salary|
    //      +---+-----+------+----------+-------+------+
    //    | 33|    1|  male|       001|Michael|  3000|
    //    | 30|    2|female|       002|   andy|  4000|
    //    | 19|    1|  male|       003| Justin|  4000|
    //    | 32|    1|  male|       004|   John|  4000|
    //    | 20|    2|female|       005|  Herry|  4000|
    //    | 26|    3|  male|       006|   Jack|  4000|
    //    | 32|    1|  male|       007|   John|  4000|
    //    | 20|    2|female|       008|  Herry|  4000|
    //    | 26|    3|  male|       009|   Jack|  4000|
    //    +---+-----+------+----------+-------+------+
 
 
 	 
//==========================================
/*
聚合操作groupBy
 */
people.unionAll(newpeople).groupBy("name").count.show
//      +-------+-----+
//      |   name|count|
//      +-------+-----+
//      |   Jack|    2|
//      |   John|    2|
//      |Michael|    1|
//      | Justin|    1|
//      |  Herry|    2|
//      |   andy|    1|
//      +-------+-----+
 
val depAgg = people.groupBy("depId").agg(
  Map(
    "age"->"max",
    "gender"->"count"
  )
)
depAgg.show()
//+-----+--------+-------------+
//|depId|max(age)|count(gender)|
//+-----+--------+-------------+
//|    1|      33|            3|
//|    2|      30|            2|
//|    3|      26|            1|
//+-----+--------+-------------+
depAgg.toDF("depId","maxAge","countGender").show()
//    +-----+------+-----------+
//    |depId|maxAge|countGender|
//    +-----+------+-----------+
//    |    1|    33|          3|
//    |    2|    30|          2|
//    |    3|    26|          1|
//    +-----+------+-----------+
 
 
//==========================================
/*
去重操作distinct
 */
people.unionAll(newpeople).select("name").distinct().show()
//    +-------+
//    |   name|
//    +-------+
//    |   Jack|
//    |   John|
//    |Michael|
//    | Justin|
//    |  Herry|
//    |   andy|
//    +-------+
 
//==========================================
/*
交集和异或
 */
people.select("name").except(newpeople.select("name")).show()
//    +-------+
//    |   name|
//    +-------+
//    |   andy|
//    | Justin|
//    |Michael|
//    +-------+
people.select("name").intersect(newpeople.select("name")).show()
//    +-----+
//    | name|
//    +-----+
//    |Herry|
//    | John|
//    | Jack|
//    +-----+
 
//==========================================
/*
DataFrame间的join
 */
people.join(dept,people("depId")===dept("depId"),"outer").show()
//    +---+-----+------+----------+-------+------+-----+---------------+
//    |age|depId|gender|job number|   name|salary|depId|           name|
//      +---+-----+------+----------+-------+------+-----+---------------+
//    | 33|    1|  male|       001|Michael|  3000|    1|Develoment Dept|
//    | 19|    1|  male|       003| Justin|  4000|    1|Develoment Dept|
//    | 32|    1|  male|       004|   John|  4000|    1|Develoment Dept|
//    | 26|    3|  male|       006|   Jack|  4000|    3|   Testing Dept|
//    | 30|    2|female|       002|   andy|  4000|    2| Personnel Dept|
//    | 20|    2|female|       005|  Herry|  4000|    2| Personnel Dept|
//    +---+-----+------+----------+-------+------+-----+---------------+
    sc.stop()  }}

 

【Spark基础】-- RDD 转 Dataframe 的三种方式
欢迎来到我的博客，一起探索代码里的世界！
11-28 1465
1、通过 StructType 创建 Dataframe（3、通过定义 schema 类创建 DataFrame。2、通过 RDD 推断创建 DataFrame （强烈推荐使用这种方法。
Spark将DataFrame转RDD
CSDN 精品推荐
09-02 245
在 Apache Spark 中，RDD（Resilient Distributed Datasets）、DataFrame 和 DataSet 是三种主要的数据结构。这些数据结构之间可以互相转换，本文将介绍如何将DataFrame转RDD。首先我们需要创建上下文对象，以及进行一些简单配置，这样才能够开发我们的。这里我们首先创建了一个配置对象，然后根据配置对象创建一个。由于DataFrame属于RDD的高级封装，所以直接调用。这个方法即可获得对应的RDD。对象，方便下文进行操作。
spark: RDD与DataFrame之间的相互转换方法
01-20
DataFrame是一个组织成命名列的数据集。它在概念上等同于关系数据库中的表或R/Python中的数据框架，但其经过了优化。DataFrames可以从各种各样的源构建，例如：结构化数据文件，Hive中的表，外部数据库或现有RDD。 DataFrame API 可以被Scala，Java，Python和R调用。 在Scala和Java中，DataFrame由Rows的数据集表示。 在Scala API中，DataFrame只是一个类型别名Dataset[Row]。而在Java API中，用户需要Dataset用来表示DataFrame。 在本文档中，我们经常将Scala/Java数据
如何将dataframe转换为rdd类型
wtt561111的专栏
05-21 9054
将dataframe类型的数据存储到本地
DataFrame和RDD的相互转换
最新发布
qq_58242165的博客
11-07 201
1.将RDD中每条数据转换成Row类型，Spark可以自动将RDD转换成 2.自定义Schema转换DataFrame 3.指定列名称转换DataFrame 【最简单的一种】
DataFrame转换为RDD_大数据培训
zjjcchina的博客
08-12 1531
2）将DataFrame转换为RDD。1）创建一个DataFrame。
DataFrame转化成RDD-[1]反射法
hjw199089的博客
12-04 732
简述DataFrame转化为RDD (1)反射推断包含特定类型的RDD的模式 条件:已知模式,即列和列的类型 特点:简单\简洁 备注:case class 不能和SparkContext同一作用域,也即定义再main 或者object外 (2)通过一个编程接口来实现 条件:运行前不知道列和列的类型 特点:允许构造一个模式,在RDD上应用,不简洁people.txtM
DataFrames与RDDs的相互转换
Xlucas的博客
03-28 1274
SparkSQL:DataFrames与RDDs的相互转换SparkSQL 支持2种RDDs转换DataFrames的方式1、使用反射获取RDD内的schema，当已知类的schema的时候，使用这种基于发射的方法会让代码更加简洁而且效果也很好 2、通过编程接口指定schema，通过spark sql的接口创建RDD的schema，这种方式会让代码比较冗长，这种方式的好处是，在运行时才知道数据的列
Spark DataFrame转化为RDD[Vector]，应用于KMeans聚类，monotonically_increasing_id()方法进行结果合并
Buevara的博客
03-30 2133
将DataFrame转化为RDD[Vector]，应用于KMeans聚类 模型训练 import org.apache.spark.mllib.linalg.Vectors import org.apache.spark.rdd.RDD import org.apache.spark.mllib.clustering.{KMeans, KMeansModel} import org.apac...
RDD转化成DataFrame
weixin_45264992的博客
10-19 900
RDD转化成DataFrame 这里使用自定义Schema的方式将RDD转换成DaraFrame 核心： 使用createDataFrame()方法，传入RDD[Row]和StructType对象，创建一个DataFrame import org.apache.spark.rdd.RDD import org.apache.spark.sql.types.{IntegerType, StringType, StructField, StructType} import org.apache.spark.sq
Spark中RDD转换为DataFrame的三种方式
SX的博客
07-12 1893
RDD转换为DataFrame
DataFrame转化成RDD方式二
weixin_42073629的博客
12-02 1585
简述 反射法 DataFrame转化为RDD (1)反射推断包含特定类型的RDD的模式 条件:已知模式,即列和列的类型 特点:简单\简洁 备注:case class 不能和SparkContext同一作用域,也即定义再main 或者object外 (2)通过一个编程接口来实现 条件:运行前不知道列和列的类型 特点:允许构造一个模式,在RDD上应用,不简洁 people.txt Michael, 29 Andy, 30 Justin, 19 john,20 He..
RDD: 与DataFrame之间的相互转换
不花的花和尚的博客
09-27 8176
DataFrame是一个组织成命名列的数据集。 它在概念上等同于关系数据库中的表或R/Python中的数据框架，但其经过了优化。 DataFrames可以从各种各样的源构建。 例如：结构化数据文件，Hive中的表，外部数据库或现有RDD。 DataFrame API 可以被Scala，Java，Python和R调用。 在Scala和Java中，DataFrame由Rows的数据集表示。 ...
dataframe 转rdd java_从DataFrame到RDD [LabeledPoint]
weixin_33785971的博客
03-05 305
我正在尝试使用Apache Spark MLlib实现文档分类器，我遇到了一些代表数据的问题 . 我的代码如下：import org.apache.spark.sql.{Row, SQLContext}import org.apache.spark.sql.types.{StringType, StructField, StructType}import org.apache.spark.ml.f...
DataFrame与RDD之间的转换
qq_41769288的博客
10-31 851
首先重重之中 import sparkSession.implicits._  //导入隐式参数 rdd 转为DataFrame rdd中的元素格式必须为元组,不能为Row DataFrame 转为RDD , .rdd即可 一个DaraFrame 转为另个一DataFrame, 需要先经过map, 将Row类型转换为元组,然后调用toDF    ...
大数据随记 —— DataFrame 与 RDD 之间的相互转换
繁依Fanyi的博客
09-01 3665
在 Scala 中，使用 case class 类型导入 RDD 并转换为 DataFrame，通过 case class 创建 Schema，case class 的参数名称会被利用反射机制作为列名。通过 Spark SQL 的接口创建 RDD 的 Schema，这种方式会让代码比较冗长。这种方法的好处是，在运行时才知道数据的列以及列的类型的情况下，可以动态生成 Schema。已知类的 Schema，使用这种基于反射的方法会让代码更加简洁而且效果也更好。DataFrame 中的数据结构信息，即为。
SparkSQL（4）：Dataframe和RDD相互转换
小蚯蚓的博客
10-31 3653
1.功能： 实现Dataframe和RDD相互转换 2.Dataframe转换RDD val jsonRdd=jsonDataFrame.rdd 3.RDD转换Dataframe （1）通过类的反射机制 port sqlContext.implicits._ val df=rdd.toDF() （2）明确给定字段名称和schema信息 val schema=StructTy...
DataFrame和 Rdd
keyuquan的博客
08-03 788
一.DataFrame 和Rdd 相互转换关系 1.df 转化为rdd  val df: DataFrame = hiveContext.sql("select * from game_sdk")    df.foreachPartition(rdd => {       rdd.foreach(row => {         val a: Row = row;
将一个pyspark.sql.dataframe转化为rdd后修改里面的值再转回dataframe
05-03
假设我们有一个DataFrame `df`，其中包含两列`id`和`value`，我们需要将`value`列中的值加上1，然后将修改后的DataFrame转换回去。 首先，我们需要将DataFrame转换为rdd: ```python rdd = df.rdd ``` 然后，我们...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值