spark struct java_java - 如何在Spark Java中创建复杂的StructType模式 - 堆栈内存溢出

最新推荐文章于 2022-06-20 17:29:16 发布

吉页用

最新推荐文章于 2022-06-20 17:29:16 发布

阅读量1k

点赞数

文章标签： spark struct java

本文链接：https://blog.csdn.net/weixin_35327612/article/details/114254124

版权

本文介绍了如何在Spark Java中为复杂数据结构定义StructType，特别是处理包含嵌套JSON的对象。作者遇到的问题是在尝试将JavaRDD转换为DataFrame时遇到了堆栈溢出异常。他们创建了包含姓名、地址、ID和报告卡的结构，并为报告卡字段定义了一个嵌套的StructType。尽管如此，转换过程还是失败了，抛出了一个错误，指出字符串不是外部类型的struct。

摘要由CSDN通过智能技术生成

如何在Spark Java中使用StructType为以下数据定义数据类型

sam|mars|1234567|"report": {"Details": [{"subject": "science","grade": "A","remark": "good"},{"subject": "maths","grade": "E","remark": "excellent"},{"subject": "geography","grade": "E","remark": "excellent"}]}

harry|venus|987654|"report": {"Details": [{"subject": "science","grade": "O","remark": "outstanding"},{"subject": "history","grade": "A","remark": "good"}]}

字段是：NAME，ADDRESS，ID，REPORTCARD

我有以下代码：

JavaRDD row = javaRDD.map(new Function(){

@Override

public Row call(String line) throws Exception {

return RowFactory