Spark大数据处理学习笔记（3.2.1）掌握RDD算子

一、准备工作
1.1 准备文件

1. 准备本地系统文件
   在\home目录里创建words.txt

2. 把文件上传到
   将words.txt上传到HDFS系统的/park目录里

查看文件内容

1.2 启动Spark Shell

1. 启动HDFS服务
   执行命令：start-dfs.sh

2. 启动Spark服务
   执行命令：start-all.sh

3. 启动Spark Shell
   执行名命令： spark-shell --master spark://master:7077

二、掌握转换算子
2.1 映射算子 - map()

1. 映射算子功能
   map()是一种转换算子，它接收一个函数作为参数，并把这个函数应用于RDD的每个元素，最后将函数的返回结果作为结果RDD中对应元素的值。
2. 映射算子案例
   预备工作：创建一个RDD - rdd1
   执行命令：val rdd1 = sc.parallelize(List(1, 2, 3, 4, 5, 6))

任务1、将rdd1每个元素翻倍得到rdd2
对rdd1应用map()算子，将rdd1中的每个元素平方并返回一个名为rdd2的新RDD

查看结果

任务2、将rdd1每个元素平方得到rdd2
方法一、采用普通函数作为参数传给map()算子

方法二、采用下划线表达式作为参数传给map()算子

任务3、利用映射算子打印菱形
（1）Spark Shell里实现

右半菱形

加上前导空格，左半菱形

前导空格折半，显示菱形

（2）在IDEA里创建项目实现

创建Maven项目

将java目录改成scala目录

在pom.xml文件里添加相关依赖和设置源程序目录

<?xml version="1.0" encoding="UTF-8"?>

4.0.0

<groupId>cn.kox.rdd</groupId>
<artifactId>SparkRDDDemo</artifactId>
<version>1.0-SNAPSHOT</version>

<dependencies>
    <dependency>
        <groupId>org.scala-lang</groupId>
        <artifactId>scala-library</artifactId>
        <version>2.12.15</version>
    </dependency>
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-core_2.12</artifactId>
        <version>3.1.3</version>
    </dependency>
</dependencies>
<build>
    <sourceDirectory>src/main/scala</sourceDirectory>
</build>

<properties>
    <maven.compiler.source>8</maven.compiler.source>
    <maven.compiler.target>8</maven.compiler.target>
    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
</properties>

添加日志属性文件

log4j.rootLogger=ERROR, stdout, logfile
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n
log4j.appender.logfile=org.apache.log4j.FileAppender
log4j.appender.logfile.File=target/rdd.log
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n

创建hdfs-site.xml文件，允许客户端访问集群数据节点

<?xml version="1.0" encoding="UTF-8"?> only config in clients dfs.client.use.datanode.hostname true

创建cn.kox.rdd.day01包

在cn.kox.rdd.day01包里创建Example01单例对象

package cn.kox.rdd.day01

import org.apache.spark.{SparkConf, SparkContext}</