Spark java实现打印 JavaPairRDD

最新推荐文章于 2023-03-16 15:17:41 发布

杨鑫newlfe

最新推荐文章于 2023-03-16 15:17:41 发布

阅读量2.7k

点赞数

分类专栏： Java 大数据挖掘与大数据应用案例文章标签： Spark Java BigData HDFS

本文链接：https://blog.csdn.net/u012965373/article/details/79998050

版权

大数据挖掘与大数据应用案例同时被 2 个专栏收录

536 篇文章 1680 订阅 ¥9.90 ¥99.00

订阅专栏

Java

427 篇文章 33 订阅

订阅专栏

该博客介绍了如何在Spark中使用JavaAPI读取数据，将JavaPairRDD进行收集并转化为List，最后详细展示了打印操作的过程。

摘要由CSDN通过智能技术生成

先读取fileName，然后再将加载的结果收集一下collect，转换成List，再打印。

Configuration configuration = new Configuration();
configuration.set("io.serializations", "org.apache.hadoop.io.serializer.WritableSerialization,org.apache.hadoop.hbase.mapreduce.ResultSerialization");
JavaPairRDD input = sc.newAPIHadoopFile(fileName, SequenceFileInputFormat.class, ImmutableBytesWritable.