Spark大数据学习之路五 -- RDD的方法两大类转换和行动1.0

一、Scala元组概念 新建Scala类 作为了解

package com.care.spark01.operate

class Test1 {
  def main(args: Array[String]): Unit = {
    // TUDO KV对
    // Scala语言可以将无关的数据封装在一起，形成一个整体，称之为元素的组合，简称为【元组】
    // 如果想要访问元组的数据，必须采用顺序号
    // 如果元组中的数据只有两个的场合，称之为对偶元组，也称之为键值对
    // 马丁将Scala融合到Java，形成的JDK1.8
    var kv = (0, 1)
    var kv1 = ("zhangsan", 20, 1001)

  }

 二、pom文件
 

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>org.example</groupId>
    <artifactId>Spark01</artifactId>
    <version>1.0-SNAPSHOT</version>

    <properties>
        <maven.compiler.source>8</maven.compiler.source>
        <maven.compiler.target>8</maven.compiler.target>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
    </properties>
    <dependencies>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.12</artifactId>
            <version>3.5.2</version>
        </dependency>
    </dependencies>

</project>

三、代码示例：

package com.care.spark01.operate;

import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import scala.Tuple1;
import scala.Tuple2;

import java.util.Arrays;
import java.util.List;

public class Spark_Operate {
    public static void main(String[] args) {

        final SparkConf conf = new SparkConf();
        conf.setMaster("local");
        conf.setAppName("spark_operate");

        final JavaSparkContext jsc = new JavaSparkContext(conf);

        //TUDO RDD的方法
        // RDD的处理方盒和Java IO流完全一样，也采用装饰者模式来实现功能的

        final JavaRDD<String> rdd = jsc.parallelize(
                Arrays.asList("1", "2", "3")
        );

        // RDD的方法很多，主要了解核心，重要啊的方法
        // 学习的重点
        // 1. 名字
        // 2. IN
        // 3. OUT

        // RDD的方法很多,主要有两类
        // RDD类似于数据管道，可以流转数据，但不能保存数据
        // 1.RDD有很多的方法可以将数据向下流转，称之为转换 Transformation 转换算子
        // 2.RDD有很多的方法可以控制数据流转，称之为行动   Action 行动算子

        //RDD方法处理数据的分类
        // 1. 单值 ： 1, “abc”, new User(), new ArrayList(), (Key, Value)(这里是指当做一个整体)
        // 2. 键值 : KV => (Key, Value)

        // TUDO JDK1.8 以后也存在元组，采用特殊的类: TUpleX X为元素的数量
        final Tuple1<String> abc = new Tuple1<>("abc");
        final Tuple2<String, String> abc1 = new Tuple2<>("a", "b");
        System.out.println(abc._1);
        System.out.println(abc._1());
        System.out.println(abc1._2);
        // 马丁的幸运数字是22
        // 元组最大的数据容量为22
        // new Tuple22<>();

        jsc.close();

    }
}

四、运行结果：