flatMap功能不只是wordcount,不知不觉用flatmap实现了hive的自带函数explode功能

最新推荐文章于 2023-02-08 22:54:31 发布

mtj66

最新推荐文章于 2023-02-08 22:54:31 发布

阅读量1.5k

点赞数

本文链接：https://blog.csdn.net/mtj66/article/details/52837115

版权

spark 同时被 2 个专栏收录

40 篇文章 24 订阅 ¥19.90 ¥99.00

订阅专栏

hive

19 篇文章 0 订阅

订阅专栏

本文探讨了flatMap操作在处理数据时的灵活性，并揭示了如何利用flatMap实际上实现了与Hive内置函数explode相同的效果。通过实例，展示了如何在数据流处理中运用flatMap进行扁平化操作，从而达到分解复杂结构数据的目的。

摘要由CSDN通过智能技术生成

 
// 不知不觉用flatmap实现了hive的自带函数explode功能。
import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
import org.apache.spark.sql.SQLContext
import org.apache.spark.sql.RowFactory
import org.apache.spark.sql.Row
import org.apache.spark.sql.types.StructType
import scala.annotation.meta.field
import org.apache.spark.sql.types.StringType
import org.apache.spark.sql.types.StructField
import scala.annotation.meta.field
import org.apache.spark.sql.hive.HiveContext


object flatmapOption { 
  
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setMaster("local[3]").setAppName("flatmapOption")
    
    val sc = new SparkContext(conf) 
 
    val  aa = Array("this_1|2|3|4")
    val bb

了解本专栏