java rdd spark_java-Spark-将RDD保存到多个文件作为输出

我有一个JavaRDD< Model&gt ;,我需要将其编写为多个具有不同布局的文件[RDD中的一两个字段在不同布局之间会有所不同].

当我使用saveAsTextFile()调用模型的toString()方法时,这意味着将相同的布局写为输出.

目前,我正在使用地图转换方法迭代RDD并以其他布局返回不同的模型,因此我可以使用saveAsTextFile()操作将其写入为不同的输出文件.

仅由于一个或两个字段不同,我需要再次迭代整个RDD并创建新的RDD,然后将其另存为输出文件.

例如：

当前带有字段的RDD：

角色指示器,姓名,年龄,地址,部门

输出文件1：

姓名,年龄,地址

输出文件2：

角色指示器,姓名,年龄,部门

有什么最佳解决方案吗？

问候,

香卡

解决方法:

您要使用foreach,而不是收集.

您应该将函数定义为扩展VoidFunction的实际命名类.为两个文件创建实例变量,并添加一个close()方法来关闭文件.您的call()实现将编写您所需的任何内容.

完成后,请记住在函数对象上调用close().

标签：apache-spark,java

来源： https://codeday.me/bug/20191120/2040714.html