spark从入门到放弃三十七:Spark Sql(10)自定义sql函数

文章地址：http://www.haha174.top/article/details/257703
自定义 SparkSql 的函数
下面给出一个示例
注册一个 'strLen’的函数 求某个字段的长度

    sqlContext.udf.register("strLen",(str:String)=>str.length)

如下的方式使用即可

  val namesREDF=   sqlContext.sql("select name,strLen(name) from names")

object UDF {
  def main(args: Array[String]): Unit = {
    val conf=new SparkConf().setMaster("local").setAppName("UDF")
    val sc=new SparkContext(conf)
    val sqlContext=new SQLContext(sc)
    //  构造模拟数据
    val names=Array("Leo","Marry","Jack","Tom");
    var namesRDD=sc.parallelize(names);
    var namesRowRDD=namesRDD.map(name=>Row(name))
    var structType=StructType(Array(
      DataTypes.createStructField("name", DataTypes.StringType, true)
    ))
    val namesDF=sqlContext.createDataFrame(namesRowRDD,structType)
    //注册一张表
    namesDF.registerTempTable("names")
    //自定义函数
    sqlContext.udf.register("strLen",(str:String)=>str.length)
   val namesREDF=   sqlContext.sql("select name,strLen(name) from names")
    namesREDF   .collect().foreach(row=>println(row.getString(0)+"  "+row.getInt(1)))

    namesREDF.show()
  }
}

欢迎关注，更多惊喜等着你