java:flatmap

最新推荐文章于 2024-06-25 10:18:13 发布

Re-X

最新推荐文章于 2024-06-25 10:18:13 发布

阅读量472

点赞数

分类专栏： java 文章标签： java 开发语言大数据

本文链接：https://blog.csdn.net/weixin_45730125/article/details/125634146

版权

java 专栏收录该内容

6 篇文章 0 订阅

订阅专栏

场景

1.spark Structured Streaming 中数据流一行变多行
2.一个JSON数组字符串动态变多个JSONobject字符串
3.dataset.flatmap

示例代码

作用：一个JSON数组字符串动态变多个JSONobject字符串
注意：写Encoders.STRING()

 Dataset<String> flatList=temp.flatMap(new FlatMapFunction<String, String>() {
            @Override
            public Iterator<String> call(String s) throws Exception {
                JSONArray jsonArray=new JSONArray(s);
                List<String> temp=new ArrayList<>();
                for(int i=0;i< jsonArray.length();i++){
                    temp.add( jsonArray.get(i).toString());
                }
                return temp.iterator();
            }
        }, Encoders.STRING());