spark中RDD、DataFrame创建及互相转换

最新推荐文章于 2024-07-15 16:29:07 发布

yakcy

最新推荐文章于 2024-07-15 16:29:07 发布

阅读量5.3k

点赞数 1

分类专栏： Spring+Hibernate 大数据文章标签： spark scala dataframe rdd 大数据

本文链接：https://blog.csdn.net/cqboy1991/article/details/78363370

版权

本文介绍了如何在Spark中使用Scala创建和转换RDD与DataFrame。通过`parallelize`和`makeRDD`从Seq集合创建RDD，利用`textFile`从外部存储读取数据。同时，展示了如何将RDD转换为DataFrame，可以使用`toDF`和`createDataFrame`方法，也可以直接从文件创建DataFrame。

摘要由CSDN通过智能技术生成

 
   1. RDD创建方式 
  
 parallelize 从一个Seq集合创建RDD。

    例如： var rdd = sc. 
   parallelize(1 to 10) 
  
 makeRDD 这种用法和parallelize完全相同

    例如： var collect = Seq((1 to 10,Seq("slave007.lxw1234.com","slave002.lxw1234.com")),   
  
    (11 to 15,Seq("slave013.lxw1234.com","slave015.lxw1234.com"))) 
  
    var rdd = sc. 
   makeRDD(collect)  
  
 textFile 从外部存储创建RDD
 
   例如： var rdd = sc. 
   textFile("hdfs:///tmp/lxw1234/1.txt")  //hdfs上获取 
  
     var rdd = sc. 
   textFile("file:///etc/hadoop/conf/core-site.xml")  //本地文件系统获取 
  
   2. Dataframe创建方式