mysql 替换组合_SPARK SQL替换mysql GROUP_CONCAT聚合函数

在您继续之前：此操作是另一个操作groupByKey。虽然它有多个合法的应用程序，但它相对昂贵，所以一定要在需要时使用它。

不完全简洁或有效的解决方案，但您可以使用UserDefinedAggregateFunctionSpark 1.5.0中介绍：

object GroupConcat extends UserDefinedAggregateFunction {

def inputSchema = new StructType().add("x", StringType)

def bufferSchema = new StructType().add("buff", ArrayType(StringType))

def dataType = StringType

def deterministic = true

def initialize(buffer: MutableAggregationBuffer) = {

buffer.update(0, ArrayBuffer.empty[String])

}

def update(buffer: MutableAggregationBuffer, input: Row) = {

if (!input.isNullAt(0))

buffer.update(0, buffer.getSeq[String](0) :+ input.getString(0))

}

def merge(buffer1: MutableAggregationBuffer, buffer2: Row) = {

buffer1.update(0, buffer1.getSeq[String