Spark DataFrame中基于List的排序UDF

最新推荐文章于 2023-01-16 16:03:31 发布

bigdataCoding

最新推荐文章于 2023-01-16 16:03:31 发布

阅读量1.6k

点赞数

分类专栏： Spark 大数据

本文链接：https://blog.csdn.net/UnionIBM/article/details/53759426

版权

大数据同时被 2 个专栏收录

35 篇文章 0 订阅

订阅专栏

Spark

20 篇文章 0 订阅

订阅专栏

DataFrame中支持的类型如 Struct此类型我们是用对象进行的封装，但是要对strcut里的数据进行排序，个人想到的办法还是把struct转位Json，然后反解析Json

sqlcontext.udf.register("stuSort", (stuList: Seq[String]) => {
  val rs = Option(conponList) match {
    case None => ""
    case Some(c) => {
      val couponInfoList = ArrayBuffer[CouponInfo]()
      conponList.foreach(x => {
        couponInfoList.append(readAsBeanByJson4s[CouponInfo](x))
      })

    //基于Ordering的隐式参数
      implicit object CouponOrdering extends Ordering[CouponInfo] {
        override def compare(s1: CouponInfo, s2: CouponInfo): Int = {
          if (s1.coupon_bank == s2.coupon_bank) if (s1.coupon_list == s2.coupon_list) s1.coupon_st.compareTo(s2.coupon_st)
          else s1.coupon_list.compareTo(s2.coupon_list)
          else s1.coupon_bank.compareTo(s2.coupon_bank)
        }
      }
      couponInfoList.sorted.mkString(",")
    }
  }
  rs.toString
})