spark学习-SparkSQL-java版JavaRDD与JavaPairRDD的互相转换

最新推荐文章于 2024-08-21 18:18:50 发布

九师兄

最新推荐文章于 2024-08-21 18:18:50 发布

阅读量4.7k

点赞数 1

分类专栏：大数据-spark 文章标签： spark javaRDD JavaPair

本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。

本文链接：https://blog.csdn.net/qq_21383435/article/details/77427218

版权

大数据-spark 专栏收录该内容

204 篇文章 480 订阅 ¥49.90 ¥99.00

订阅专栏

本文介绍了在Spark中如何将JavaRDD转换为JavaPairRDD，以及如何将JavaPairRDD转换回JavaRDD。通过实例操作，详细阐述了转换过程，并对结果进行了分析，总结了两种转换之间的逆运算关系。

摘要由CSDN通过智能技术生成

在这里插入图片描述

1。引发：做一个java读取hbase的注册成表的程序。但是读出来的是javaPairRDD，而网上都是javaRDD转成dataFrame,我只能自己摸索怎么转成javaRDD
2。方法
　　JavaRDD => JavaPairRDD: 通过mapToPair函数
　　JavaPairRDD => JavaRDD: 通过map函数转换
3。不管其他先运行一下

package com.lcc.spark.rdd.test;

import java.util.ArrayList;
import java.util.Arrays;
import java.util.List;

import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaPairRDD;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.api.java.function.Function;
import org.apache.spark.api.java.function.Function2;
import org.apache.spark.api.java.function.P

了解本专栏