java spark groupby_java – 如何在GroupBy操作后从spark DataFrame列中收集字符串列表？...

描述here(零点323)的解决方案非常接近我想要的两个曲折：

>我如何用Java做到这一点？

>如果列具有字符串列表而不是单个字符串,并且我想在GroupBy(其他列)之后将所有这些列表收集到单个列表中,该怎么办？

我正在使用Spark 1.6并尝试使用

org.apache.spark.sql.functions.collect_list(Column col),如该问题的解决方案中所述,但得到以下错误

Exception in thread “main” org.apache.spark.sql.AnalysisException: undefined function collect_list;

at org.apache.spark.sql.catalyst.analysis.SimpleFunctionRegistry$$anonfun$2.apply(FunctionRegistry.scala:65)

at org.apache.spark.sql.catalyst.analysis.SimpleFunctionRegistry$$anonfun$2.apply(FunctionRegistry.scala:65)

at scala.Option.getOrElse(Option.scala:121)

解决方法:

您看到的错误表明您使用普通的SQLContext而不是HiveContext. collect_list是一个Hive UDF,因此需要HiveContext.它也不支持复杂的列,因此唯一的选择是首先爆炸：

import org.apache.spark.api.java.*;

import org.apache.spark.SparkConf;

import org.apache.spark.sql.SQLContext;

import org.apache.spark.sql.hive.HiveContext;

import java.util.*;

import org.apache.spark.sql.DataFrame;

import static org.apache.spark.sql.functions.*;

public class App {

public static void main(String[] args) {

JavaSparkContext sc = new JavaSparkContext(new SparkConf());

SQLContext sqlContext = new HiveContext(sc);

List data = Arrays.asList(

"{\"id\": 1, \"vs\": [\"a\", \"b\"]}",

"{\"id\": 1, \"vs\": [\"c\", \"d\"]}",

"{\"id\": 2, \"vs\": [\"e\", \"f\"]}",

"{\"id\": 2, \"vs\": [\"g\", \"h\"]}"

);

DataFrame df = sqlContext.read().json(sc.parallelize(data));

df.withColumn("vs", explode(col("vs")))

.groupBy(col("id"))

.agg(collect_list(col("vs")))

.show();

}

}

但它不太可能表现良好.

标签：java,apache-spark,apache-spark-sql

来源： https://codeday.me/bug/20190611/1220478.html