spark学习-SparkSQL一些函数的使用

最新推荐文章于 2024-07-29 14:05:37 发布

九师兄

最新推荐文章于 2024-07-29 14:05:37 发布

阅读量2.1k

点赞数

分类专栏：大数据-spark 文章标签： spark 函数

本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。

本文链接：https://blog.csdn.net/qq_21383435/article/details/77200248

版权

大数据-spark 专栏收录该内容

204 篇文章 480 订阅 ¥49.90 ¥99.00

订阅专栏

本文介绍了Spark中的一些核心函数，包括parallelizePairs与parallelize的区别，subtractByKey的键删除操作，以及不同类型的JOIN操作如join、leftOuterJoin和rightOuterJoin。此外，还提到了ImmutableBytesWritable在处理HBase数据时的转换方法。

摘要由CSDN通过智能技术生成

在这里插入图片描述

1。parallelizePairs余parallelize

/** Distribute a local Scala collection to form an RDD. */
  def parallelizePairs[K, V](list: java.util.List[Tuple2[K, V]], numSlices: Int)
  : JavaPairRDD[K, V] = {
    implicit val ctagK: ClassTag[K] = fakeClassTag
    implicit val ctagV: ClassTag[V] = fakeClassTag
    JavaPairRDD.fromRDD(sc.parallelize(list.asScala, numSlices))
  }

可以源代码得到 parallelizePairs=======》调用===parallelize
parallelize相当于直接拷贝了原始数据（只不过可以并行计算，初学者可以这样理解）
parallelizePairs相当于直接拷贝了原始数据并且把第一个数据当做key（形成key-value的形式）

2。
subtractByKey

了解本专栏