Spark RDD算子案例----数据检索并保存到mysql

Spark RDD算子案例----数据检索并保存到mysql

1. 背景

1. 在Spark大数据分析处理引擎中，针对数据处理，抽象出了很多基于分布式的算子。对这些算子做操作就跟对本地的集合做操作一样便利。
2. Spark中算子类型有RDD、dataset、dataframe、dstream等。本文演示案例主要是针对RDD的操作。
3. 本文案例主要是最简化的企业开发思路，读取结构化数据，使用spark处理，结果保存到mysql数据库中。（实际企业生产还会有一个OLAP过程，OLAP引擎会从结果数据库中检索数据并展示出来）

2. 环境准备

1. maven工程 3.6.3
2. java环境，JDK1.8
3. scala ，2.12.12
4. Idea 2020
5. mysql 5.4
6. Navicat

• 建表
  

7. 演示数据

{"cid": 1, "money": 600.0, "longitude":116.397128,"latitude":39.916527,"oid":"o123"}
"oid":"o112", "cid": 3, "money": 200.0, "longitude":118.396128,"latitude":35.916527}
{"oid":"o124", "cid": 2, "money": 200.0, "longitude":117.397128,"latitude":38.916527}
{"oid":"o125", "cid": 3, "money": 100.0, "longitude":118.397128,"latitude":35.916527}
{"oid":"o127", "cid": 1, "money": 100.0, "longitude":116.395128,"latitude":39.916527}
{"oid":"o128", "cid": 2, "money": 200.0, "longitude":117.396128,"latitude":38.916527}
{"oid":"o129", "cid": 3, "money": 300.0, "longitude":115.398128,"latitude":35.916527}

字段解释
oid：订单id，String类型
cid: 商品分类id，Int类型
money: 订单金额，Double类型
longitude: 经度，Double类型
latitude: 纬度，Double类型

分类信息
1，家具
2，手机
3，服装

8. 模拟企业需求
   在给定的订单数据，根据订单的分类ID进行聚合，然后按照订单分类名称，统计出这一天商品各个分类的成交金额
9. pom文件

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.doit</groupId>
    <artifactId>spark_test1</artifactId>
    <version>1.0-SNAPSHOT</version>

    <!-- 定义了一些常量 -->
    <properties>
        <maven.compiler.source>1.8</maven.compiler.source>
        <maven.compiler.target>1.8</maven.compiler.target>
        <scala.version>2.12.10</scala.version>
        <spark.version>3.0.1</spark.version>
        <hbase.version>2.2.5</hbase.version>
        <hadoop.version>3.2.1</hadoop.version>
        <encoding>UTF-8</encoding>
    </properties>

    <dependencies>
        <!-- 导入scala的依赖 -->
        <dependency>
            <groupId>org.scala-lang</groupId>
            <artifactId>scala-library</artifactId>
            <version>${scala.version}</version>
            <!-- 编译时会引入依赖，打包是不引入依赖 -->
            <!--            <scope>provided</scope>-->
        </dependency>

        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.12</artifactId>
            <version>${spark.version}