spark scala-实现udf函数

原创 2018年04月17日 09:57:05

本文章主要通过spark实现udf自定义函数

import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
import org.apache.spark.sql.SQLContext
import org.apache.spark.sql.Row
import org.apache.spark.sql.types.StructType
import org.apache.spark.sql.types.StructField
import org.apache.spark.sql.types.StringType

/**
 * @author jhp
  *         spark实现udf功能
 */
object UDF {
  
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf()
        .setMaster("local") 
        .setAppName("UDF")
    val sc = new SparkContext(conf)
    val sqlContext = new SQLContext(sc)
  
    // 构造模拟数据
    val names = Array("Leo", "Marry", "Jack", "Tom") 
    val namesRDD = sc.parallelize(names, 5) 
    val namesRowRDD = namesRDD.map { name => Row(name) }
    val structType = StructType(Array(StructField("name", StringType, true)))  
    val namesDF = sqlContext.createDataFrame(namesRowRDD, structType) 
    
    // 注册一张names    namesDF.registerTempTable("names")  
    
    // 定义和注册自定义函数
    // 定义函数:自己写匿名函数
    // 注册函数:SQLContext.udf.register()
    sqlContext.udf.register("strLen", (str: String) => str.length()) 
  
    // 使用自定义函数
    sqlContext.sql("select name,strLen(name) from names")
        .collect()
        .foreach(println)  
  }
  
}

Spark SQL UDF使用

spark sql udf编写及使用
  • u014388509
  • u014388509
  • 2014-09-19 18:17:14
  • 13691

Spark编写UDF自定义函数(JAVA)

maven: org.apache.spark spark-core_2.10 1.6.0 org.apache.spark spark-sql_2....
  • ZYJ_2012
  • ZYJ_2012
  • 2017-03-21 13:25:47
  • 2410

Spark-sparksql-自定义udf

注册一个判断指定日期的星期数的SQL函数object UDFUtils { def main(args: Array[String]) { println(dayOfWeek("2017-0...
  • qq_16038125
  • qq_16038125
  • 2017-05-20 09:57:17
  • 480

SparkSQL 实现UDF的两种方式

import org.apache.spark.{SparkConf, SparkContext} import org.apache.spark.sql.SQLContext import org....
  • UnionIBM
  • UnionIBM
  • 2016-09-12 20:26:59
  • 2802

如果在SPARK函数中使用UDF或UDAF

Spark目前已经内置的函数参见: Spark 1.5 DataFrame API Highlights: Date/Time/String Handling, Time Intervals...
  • qq_26562641
  • qq_26562641
  • 2016-04-26 15:44:09
  • 1916

sparkSQL中UDF的使用

在spark中使用sql时可能会想自定义一些函数,可以使 udf 来实现,下面举了几个简单易懂的例子。...
  • lsshlsw
  • lsshlsw
  • 2015-12-24 23:33:05
  • 4161

第72课:Spark UDF和UDAF解密学习笔记

第72课:Spark UDF和UDAF解密学习笔记 本期内容: 1 Spark UDF实战 2 Spark UDAF实战   UDAF=USER DEFINE AGGREGATE FUNCT...
  • slq1023
  • slq1023
  • 2016-04-14 00:32:51
  • 4869

SparkSQL中UDF和UDAF

UDF: User Defined Function,用户自定义的函数,函数的输入是一条具体的数据记录,实现上讲就是普通的Scala函数; UDAF:User Defined Aggregation...
  • u012297062
  • u012297062
  • 2016-08-17 09:33:23
  • 3975

详解spark sql用户自定义函数:UDF与UDAF

场景 UDAF = USER DEFINED AGGREGATION FUNCTION11 上一篇文章已经介绍了spark sql的窗口函数,并知道Spark sql提供了丰富的内置函数供猿友...
  • xgjianstart
  • xgjianstart
  • 2017-02-09 20:57:18
  • 6207

[2.5]详解spark sql用户自定义函数:UDF与UDAF

参考Spark官网 王家林DT大数据梦工厂场景上一篇文章已经介绍spark sql的窗口函数,并且了解到spark sql提供了丰富的内置函数供猿友们使用,辣为何还要用户自定义函数呢?实际的业务场景...
  • PENGYUCHENG32109
  • PENGYUCHENG32109
  • 2016-06-29 21:58:38
  • 7855
收藏助手
不良信息举报
您举报文章:spark scala-实现udf函数
举报原因:
原因补充:

(最多只允许输入30个字)