3.2 掌握RDD算子

一、准备工作

（一）准备文件

1、准备本地系统文件


2、把文件上传到HDFS

（二）启动Spark Shell

1、启动HDFS服务

2、启动Spark服务

3、启动Spark Shell

二、掌握转换算子

（一）映射算子 - map()

映射算子案例

任务1、将rdd1每个元素翻倍得到rdd2
对rdd1应用map()算子，将rdd1中的每个元素平方并返回一个名为rdd2的新RDD

其实，利用神奇占位符_可以写得更简洁

rdd1和rdd2中实际上没有任何数据，因为parallelize()和map()都为转化算子，调用转化算子不会立即计算结果。

执行rdd2.collect进行计算，并将结果以数组的形式收集到当前Driver。因为RDD的元素为分布式的，数据可能分布在不同的节点上。

任务2、将rdd1每个元素平方得到rdd2
方法一、采用普通函数作为参数传给map()算子

方法二、采用下划线表达式作为参数传给map()算子

难道就不能用下划线参数了吗？当然可以，但是必须保证下划线表达式里下划线只出现1次。引入数学包scala.math._就可以搞定。


任务3、利用映射算子打印菱形
（1）Spark Shell里实现
菱形正立的等腰三角形和倒立的等腰三角形组合而成

（2）在IDEA里创建项目实现


将java目录改成scala目录

在pom.xml文件里添加相关依赖和设置源程序目录

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>net.cxf.rdd</groupId>
    <artifactId>SparkRDDDemo</artifactId>
    <version>1.0-SNAPSHOT</version>
    <dependencies>
        <dependency>
            <groupId>org.scala-lang</groupId>
            <artifactId>scala-library</artifactId>
            <version>2.12.15</version>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.12</artifactId>
            <version>3.1.3</version>
        </dependency>
    </dependencies>
    <build>
        <sourceDirectory>src/main/scala</sourceDirectory>
    </build>

</project>

刷新项目依赖

添加日志属性文件

log4j.rootLogger=ERROR, stdout, logfile
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n
log4j.appender.logfile=org.apache.log4j.FileAppender
log4j.appender.logfile.File=target/spark.log
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n

创建hdfs-site.xml文件，允许客户端访问集群数据节点

<?xml version="1.0" encoding="UTF-8"?>
<configuration>
    <property>
        <description>only config in clients</description>
        <name>dfs.client.use.datanode.hostname</name>
        <val