头歌实践教学平台 大数据编程 实训答案（二）

于 2024-10-08 22:36:48 发布
阅读量670 收藏 6
点赞数 9
分类专栏： 头哥实践教学平台实训答案 文章标签： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_63961628/article/details/142665124
版权

第三阶段 Spark算子综合案例

Spark算子综合案例 - JAVA篇

第1关：WordCount - 词频统计

任务描述
本关任务：使用 Spark Core 知识编写一个词频统计程序。

相关知识
略

编程要求
请仔细阅读右侧代码，根据方法内的提示，在Begin - End区域内进行代码补充，具体任务如下：

对文本文件内的每个单词都统计出其出现的次数;
按照每个单词出现次数的数量，降序排序。

package net.educoder;
 
import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaPairRDD;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import scala.Tuple2;
 
import java.util.Arrays;
 
/**
 * 1、对文本文件内的每个单词都统计出其出现的次数。
 * 2、按照每个单词出现次数的数量，降序排序。
 */
public class Step1 {
 
    private static SparkConf conf;
    private static JavaSparkContext sc;
 
    static {
        conf = new SparkConf().setAppName("step1").setMaster("local");
        sc = new JavaSparkContext(conf);
    }
 
    /**
     *
     * @return JavaRDD<Tuple2>
     */
    public static JavaRDD<Tuple2> fun1() {
        JavaRDD<String> rdd = sc.textFile("/root/wordcount.txt");
 
        /**-----------------------------------begin----------------------------------------------**/
        JavaRDD<String> rdd1 = rdd.flatMap(x -> Arrays.asList(x.split(" ")).iterator());
        JavaPairRDD<String, Integer> rdd2 = rdd1.mapToPair(x -> new Tuple2<>(x, 1));
        JavaPairRDD<String, Integer> rdd3 = rdd2.reduceByKey((x, y) -> x + y);
        JavaRDD<Tuple2> rdd4 = rdd3.map(x -> new Tuple2(x._2(), x._1()));
        JavaRDD<Tuple2> rdd5 = rdd4.sortBy(x -> x._1(), false, 1);
        JavaRDD<Tuple2> rdd6 = rdd5.map(x -> new Tuple2(x._2(), x._1()));
        return rdd6;
 
        /**-----------------------------------end----------------------------------------------**/
    }
}

第2关：Friend Recommendation - 好友推荐

任务描述
本关任务：使用 Spark Core 知识完成 " 好友推荐 " 的程序。

相关知识
直接好友与间接好友
参照数据如下：

hello hadoop cat
world hadoop hello hive
cat tom hive
...
...
数据说明（第二行为例）：
这个人叫 world ，他有三个好友，分别是：hadoop、hello 和 hive。hadoop、hello 和 hive 之间就是间接好友。word 与 hadoop 、 hello 、hive 属于直接好友。

package net.educoder;

import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaPairRDD;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import scala.Tuple2;

import java.util.ArrayList;
import java.util.List;

public class Step2 {

    private static SparkConf conf;
    private static JavaSparkContext sc;

    static {
        conf = new SparkConf().setAppName("step2").setMaster("local");
        sc = new JavaSparkContext(conf);
    }

    /**
     *
     * @return JavaPairRDD<String, Integer>
     */
    public static JavaPairRDD<String, Integer> fun2() {
        JavaRDD<String> rdd = sc.textFile("/root/friend.txt");

        /**-------------------------------beign-----------------------------------**/
    JavaPairRDD<String,Integer> rdd1 = rdd.flatMapToPair(line->{
        List<Tuple2<String,Integer>> list = new ArrayList<Tuple2<String,Integer>>();
        String[] split = line.split(" ");
        String me = split[0];
        for (int i = 1;i < split.length;i++){
            String s = me.hashCode() > split[i].hashCode() ? me +"_"+split[i]:split[i] + "_" + me;
            list.add(new Tuple2<>(s,0));
            for(int j=i+1;j<split.length;j++){
            String ss = split[j].hashCode() > split[i].hashCode() ? split[j] + "_" + split[i]:split[i] + "_" +split[j];
            list.add(new Tuple2<>(ss,1));
        }
        }
        return list.iterator();
    });
    JavaPairRDD<String,Iterable<Integer>> rdd2 = rdd1.groupByKey();

    JavaPairRDD<String,Integer> javaPairRDD = rdd2.mapToPair(x ->{
        boolean bool = false;
        int count = 0;
        Iterable<Integer> flags = x._2();
        String name = x._1();
        for(Integer flag:flags){
            if(flag == 0){
                bool = true;
            }
            count++;
        }
        if(bool == false){
            return new Tuple2<String,Integer>(name,count);
        }else{
            return new Tuple2<String,Integer>("直接好友",0);
        }
    });
    JavaPairRDD<String,Integer> filter = javaPairRDD.filter(x -> x._2()!=0?true : false);

    return filter;
        /**-------------------------------end-----------------------------------**/
    }
}

第四阶段 SparkSQL

Spark SQL 自定义函数（Scala）

第1关：Spark SQL 自定义函数

任务描述
本关任务：根据编程要求，创建自定义函数，实现功能。

相关知识
为了完成本关任务，你需要掌握：

自定义函数分类；

自定义函数的实现方式；

弱类型的 UDAF 与 强类型的 UDAF 区分；

实现弱类型的 UDAF 与 强类型的 UDAF。

import org.apache.spark.sql.api.java.UDF1
import org.apache.spark.sql.types.StringType
import org.apache.spark.sql.{DataFrame,SparkSession}

object First_Question {

  def main(args: Array[String]): Unit = {
    
    val spark: SparkSession = SparkSession
      .builder()
      .appName("First_Question")
      .master("local[*]")
      .getOrCreate()

    /******************* Begin *******************/  
    val dataFrame: DataFrame = spark.read.text("file:///data/bigfiles/test.txt")

    dataFrame.createTempView("data")
    spark.sql("""select value[0] as name,
    value[1] as chinese, value[2] as math,value[3] as english from(select split(value,' ')value from data)""".stripMargin).createOrReplaceTempView("clean_data")

    spark.udf.register("nameToUp",(x:String)=>x.toUpperCase)

    spark.udf.register("add",(chinese:Integer,math:Integer,english:Integer)=>chinese + math+english)

    spark.sql("""select nameToUp(name) as name,add(chinese,math,english) as total from clean_data order by total desc""".stripMargin).show()


    /******************* End *******************/

    spark.stop()

  }
}

Spark SQL 多数据源操作（Scala）

第1关：加载与保存操作

任务描述
本关任务：根据编程要求，编写 Spark 程序读取指定数据源，完成任务。

相关知识
为了完成本关任务，你需要掌握：

数据加载；

SQL 语句加载数据；

文件保存；

保存模式；

持久化存储到 Hive；

分区与排序。

import org.apache.spark.sql.{DataFrame, SaveMode, SparkSession}

object First_Question {


  def main(args: Array[String]): Unit = {
    
    val spark: SparkSession = SparkSession
      .builder()
      .appName("First_Question")
      .master("local[*]")
      .getOrCreate()

    /******************* Begin *******************/  
    val dataFrame = spark.read.json("file:///data/bigfiles/demo.json");
    dataFrame.orderBy(dataFrame.col("age").desc).show();
       
    /******************* End *******************/

    spark.stop()

  }
}

第2关：Parquet 格式文件

任务描述
本关任务：根据编程要求，编写 Spark 程序读取指定数据源，完成 Parquet 分区任务。

相关知识
为了完成本关任务，你需要掌握：

什么是 Parquet 文件；

Parquet 分区自动识别；

Parquet 模式合并；

Hive Metastore Parquet 表转换；

元数据刷新。

什么是 Parquet 文件？
Apache Parquet 是面向分析型业务的列式存储格式，由 Twitter 和 Cloudera 合作开发，Parquet 是一种与语言无关的列式存储文件类型，可以适配多种计算框架。在  Spark SQL 中提供了对 Parquet 文件的读写支持，读取 Parquet 文件时会自动保留原始数据的结构。需要注意的一点，我们在编写 Parquet 文件时，出于兼容性原因，所有列都将自动转换为 NULL 类型。

import org.apache.spark.sql.{DataFrame, SaveMode, SparkSession}

object Second_Question {


  def main(args: Array[String]): Unit = {
    
    val spark: SparkSession = SparkSession
      .builder()
      .appName("Second_Question")
      .master("local[*]")
      .getOrCreate()


    /******************* Begin *******************/  
    spark.read.json("file:///data/bigfiles/demo.json").write.parquet("file:///result/student=1")
    spark.read.json("file:///data/bigfiles/demo2.json").write.parquet("file:///result/student=2")


    /******************* End *******************/

    spark.stop()

  }
}

第3关：ORC 格式文件

任务描述
本关任务：根据编程要求，完善程序，实现 Spark SQL 读取 ORC 格式的 Hive 数据表。

相关知识
为了完成本关任务，你需要掌握：

什么是 ORC 文件？

ORC 组成

读取 ORC 文件数据流程

Spark SQL 读取 ORC 格式的 Hive 数据表

什么是 ORC 文件？
ORC 全称 Optimized Row Columnar，是一种为 Hadoop 工作负载设计的自描述类型感知列文件格式。它针对大型流式读取进行了优化，但集成了对快速查找所需行的支持。以列格式存储数据使读者可以仅读取、解压缩和处理当前查询所需的值。因为 ORC 文件是类型感知的，所以编写者为该类型选择最合适的编码，并在写入文件时建立一个内部索引。谓词下推使用这些索引来确定需要为特定查询读取文件中的哪些条带，并且行索引可以将搜索范围缩小到 10,000 行的特定集合。ORC 支持 Hive 中的完整类型集，包括复杂类型：结构、列表、映射和联合。

命令行窗口

# 启动 Hadoop
start-all.sh
# 启动 Hive 元数据服务
nohup hive --service metastore &
# 进入 Hive
hive
# 创建 ORC 格式的 Hive 数据表
create table student(
    id int,
   name string,
   age int,
   class string
)stored as orc;
# 插入数据
insert into table student values(1001,"王刚",19,"大数据一班");
insert into table student values(1002,"李虹",18,"大数据一班");
insert into table student values(1003,"张子萱",20,"大数据一班");
insert into table student values(1004,"赵云",18,"大数据一班");
insert into table student values(1005,"李晓玲",19,"大数据一班");
insert into table student values(1006,"张惠",18,"大数据二班");
insert into table student values(1007,"秦散",19,"大数据二班");
insert into table student values(1008,"王丽",18,"大数据二班");
insert into table student values(1009,"田忌",20,"大数据二班");
insert into table student values(1010,"张花",18,"大数据二班");

代码文件窗口

import org.apache.spark.sql.{DataFrame, SaveMode, SparkSession}

object Third_Question {


  def main(args: Array[String]): Unit = {
    
    val spark: SparkSession = SparkSession
      .builder()
      .appName("Third_Question")
      .master("local[*]")
      .enableHiveSupport()
      .getOrCreate()


    /******************* Begin *******************/  
    spark.sql("select * from student").orderBy("id").show()

    /******************* End *******************/

    spark.stop()

  }
}

第4关：JSON 格式文件

任务描述
本关任务：根据编程要求，读取 JSON 文件，完成任务。

相关知识
为了完成本关任务，你需要掌握：

什么是 JSON 格式；

JSON 的标准格式；

JSON 与 Spark SQL。

什么是 JSON 格式?
JSON（JavaScript Object Notation, JS 对象简谱）是一种轻量级的数据交换格式。它基于 ECMAScript（European Computer Manufacturers Association, 欧洲计算机协会制定的 js 规范）的一个子集，采用完全独立于编程语言的文本格式来存储和表示数据。简洁和清晰的层次结构使得 JSON 成为理想的数据交换语言。 易于人阅读和编写，同时也易于机器解析和生成，并有效地提升网络传输效率。

import org.apache.spark.sql.{DataFrame, SaveMode, SparkSession}

object Forth_Question {


  def main(args: Array[String]): Unit = {
    
    val spark: SparkSession = SparkSession
      .builder()
      .appName("Forth_Question")
      .master("local[*]")
      .getOrCreate()


    /******************* Begin *******************/  
    val dataFrame:DataFrame = spark.read.json("file:///data/bigfiles/test.json")

    dataFrame.createOrReplaceTempView("data")

    spark.sql("select id,name,age,class from data").orderBy("id").show()
    /******************* End *******************/

    spark.stop()

  }
}

第5关：JDBC 操作数据库

任务描述
本关任务：根据编程要求，读取本地文件，将数据使用 JDBC 方式进行保存。

相关知识
为了完成本关任务，你需要掌握：

JDBC 的定义；

Spark SQL 与 JDBC；

Spark SQL 加载 JDBC 数据；

Spark SQL 写入 JDBC 数据。

JDBC 的定义
Java 数据库连接（Java Database Connectivity，简称 JDBC）是 Java 语言中用来规范客户端程序如何来访问数据库的应用程序接口，提供了诸如查询和更新数据库中数据的方法。JDBC 也是 Sun Microsystems 的商标。我们通常说的 JDBC 是面向关系型数据库的。

import org.apache.spark.sql.{DataFrame, SaveMode, SparkSession}

object Fifth_Question {


  def main(args: Array[String]): Unit = {
    
    val spark: SparkSession = SparkSession
      .builder()
      .appName("Fifth_Question")
      .master("local[*]")
      .getOrCreate()


    /******************* Begin *******************/  
    val dataFrame:DataFrame = spark.read.option("header","true").csv("file:///data/bigfiles/job58_data.csv")

    dataFrame.write.format("jdbc")
      .option("url", "jdbc:mysql://localhost:3306/work?useSSL=false")
      .option("driver", "com.mysql.jdbc.Driver")
      .option("user", "root")
      .option("password", "123123")
      .option("dbtable", "job_data")
      .mode(SaveMode.Overwrite)  
      .save()
    /******************* End *******************/

    spark.stop()

  }
}

第6关：Hive 表操作

任务描述
本关任务：根据编程要求，创建 Hive 数据表，完成读取操作。

相关知识
为了完成本关任务，你需要掌握：

什么是 Hive；

Spark on Hive；

Spark SQL 与 Hive；

Spark SQL 加载 Hive 数据；

Spark SQL 保存数据到 Hive。

什么是 Hive?
Hive 是基于 Hadoop 的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供 SQL 查询功能，能将 SQL 语句转变成 MapReduce 任务来执行。Hive 的优点是学习成本低，可以通过类似 SQL 语句实现快速 MapReduce 统计，使 MapReduce 变得更加简单，而不必开发专门的 MapReduce 应用程序。

命令行窗口

# 启动 Hadoop
start-all.sh
# 启动 Hive 元数据服务
nohup hive --service metastore &
# 进入 Hive
hive
# 创建 Hive 数据表
create table employee(
   eid string,
   ename string,
   age int,
   part string
);
# 插入数据
insert into table employee values("A568952","王晓",25,"财务部");
insert into table employee values("B256412","张天",28,"人事部");
insert into table employee values("C125754","田笑笑",23,"销售部");
insert into table employee values("D265412","赵云",24,"研发部");
insert into table employee values("F256875","李姿姿",26,"后勤部");

代码文件窗口

import org.apache.spark.sql.{DataFrame, SparkSession}
object Sixth_Question {
  def main(args: Array[String]): Unit = {
    
    /******************* Begin *******************/  
    val spark: SparkSession = SparkSession
      .builder()
      .appName("Sixth_Question")
      .master("local[*]")
      .enableHiveSupport()
      .getOrCreate()
    
    val dataFrame : DataFrame = spark.sql("select * from employee order by eid")
    dataFrame.show()
    
    spark.stop()
    /******************* End *******************/
  }
}

RDD、DataSet 与 DataFrame 的转换（Scala）

第1关：RDD、DataSet 与 DataFrame 的相互转换

任务描述
本关任务：完成 RDD、DataSet 与 DataFrame 之间的相互转换。

相关知识
为了完成本关任务，你需要掌握：

熟悉基础的 Scala 代码编写；

创建 RDD、DataSet、DataFrame 数据集。

import org.apache.spark.rdd.RDD
import org.apache.spark.sql.{DataFrame,SparkSession}

object First_Question {

  case class Employee(id:Int,e_name:String,e_part:String,salary:Int)

  def main(args: Array[String]): Unit = {
    
    val spark: SparkSession = SparkSession
      .builder()
      .appName("First_Question")
      .master("local[*]")
      .getOrCreate()

    val rdd: RDD[(Int, String, String, Int)] = spark.sparkContext.parallelize(List((1001, "李晓", "运营部", 6000), (1002, "张花", "美术部", 6000), (1003, "李强", "研发部", 8000), (1004,"田美", "营销部", 5000), (1005, "王菲", "后勤部", 4000)))


    /******************* Begin *******************/  
    import spark.implicits._
    val df:DataFrame=rdd.map(line=>{
    Employee(line._1,line._2,line._3,line._4)
    }).toDF()
    df.as[Employee].show()
    /******************* End *******************/

    spark.stop()

  }
}

DataFrame 基础操作（Scala）

第1关：DataFrame 基础操作

任务描述
本关任务：根据编程要求，完成对指定 DataFrame 数据集的基础操作。

相关知识
为了完成本关任务，你需要掌握：

熟悉基础的 Scala 代码编写；

DataFrame 的基础操作。

下面让我来带领大家一起来学习 DataFrame 中丰富的方法，首先创建 DataFrame，做为下面各个方法中的示例数据。

import org.apache.spark.rdd.RDD
import org.apache.spark.sql.{DataFrame,SparkSession}

object First_Question {

  case class Student(name:String,age:String,sex:String)

  def main(args: Array[String]): Unit = {
    
    val spark: SparkSession = SparkSession
      .builder()
      .appName("First_Question")
      .master("local[*]")
      .getOrCreate()

     val rdd: RDD[String] = spark.sparkContext.parallelize(List("张三,20,男", "李四,22,男", "李婷,23,女","赵六,21,男"))

    val temp: RDD[Student] = rdd.map(s => {
      val split_rdd: Array[String] = s.split(",")
      Student(split_rdd(0), split_rdd(1), split_rdd(2))
    })

    import spark.implicits._

    // DataFrame 源数据
    val dataFrame: DataFrame = temp.toDF()

    /******************* Begin *******************/  
    dataFrame.where("age>=18 and age<25").groupBy("sex").count().show()
  
        
    /******************* End *******************/

    spark.stop()

  }
}

DataFrame 创建（Scala）

第1关：DataFrame 创建

任务描述
本关任务：了解什么是 DataFrame 以及创建 DataFrame 的方式。

相关知识
为了完成本关任务，你需要掌握：

熟悉基础的 Scala 代码编写；

创建 DataFrame 数据集。

什么是 DataFrame?
DataFrame 的前身是 SchemaRDD, 从 Spark 1.3.0 开始 SchemaRDD 更名为 DataFrame。与 SchemaRDD 的主要区别是: DataFrame 不再直接继承自 RDD, 而是自己实现了 RDD 的绝大多数功能。但仍旧可以在 DataFrame 上调用 RDD 方法将其转换为一个 RDD。DataFrame 是一种以 RDD 为基础的分布式数据集, 类似于传统数据库的二维表格, DataFrame 带有 Schema 元信息, 即 DataFrame 所表示的二维表数据集的每一列都带有名称和类型, 但底层做了更多的优化。DataFrame 可以从很多数据源构建, 比如: 已存在的 RDD, 结构化文件, 外部数据库, Hive 表等。

import org.apache.spark.rdd.RDD
import org.apache.spark.sql.{DataFrame,SparkSession}

object First_Question {

  /******************* Begin *******************/ 
  case class Student(name:String,age:String,sex:String)


  /******************* End *******************/ 

  def main(args: Array[String]): Unit = {
    
    val spark: SparkSession = SparkSession
      .builder()
      .appName("First_Question")
      .master("local[*]")
      .getOrCreate()


    val rdd: RDD[String] = spark.sparkContext.parallelize(List("张三,20,男", "李四,22,男", "李婷,23,女","赵六,21,男"))

    /******************* Begin *******************/  
    val result: RDD[Student] = rdd.map(s => {
       val split_rdd: Array[String] = s.split(",")
       Student(split_rdd(0), split_rdd(1), split_rdd(2))
    })
    import spark.implicits._
    result.toDF().show()



  
        
    /******************* End *******************/

    spark.stop()

  }
}

SparkSQL数据源

第1关：SparkSQL加载和保存

任务描述
本关任务：编写一个SparkSQL程序，完成加载和保存数据。

相关知识
为了完成本关任务，你需要掌握：

加载数据

直接在文件上运行SQL

保存到路径

保存模式介绍

保存到持久表

存储和排序或分区

package com.educoder.bigData.sparksql2;

import org.apache.spark.sql.AnalysisException;
import org.apache.spark.sql.SaveMode;
import org.apache.spark.sql.SparkSession;


public class Test1 {
	
	public static void main(String[] args) throws AnalysisException {
		SparkSession  spark  =  SparkSession 
				  .builder()
				  .appName("test1")
				  .master("local")
				  .getOrCreate();
		/********* Begin *********/
		spark.read().format("json").load("people.json").write().mode(SaveMode.Append).save("people");
        spark.read().format("json").load("people1.json").write().mode(SaveMode.Append).save("people");
        spark.read().load("people").show(); 
		
		/********* End *********/
	}

	

}

第2关：Parquet文件介绍

任务描述
本关任务：编写Parquet分区文件，并输出表格内容

相关知识
为了完成本关任务，你需要掌握：

编程方式加载Parquet文件

Parquet分区

结构合并

元数据刷新

Parquet参数配置

package com.educoder.bigData.sparksql2;

import org.apache.spark.sql.AnalysisException;
import org.apache.spark.sql.SparkSession;


public class Test2 {

	public static void main(String[] args) throws AnalysisException {
		SparkSession  spark  =  SparkSession 
				  .builder()
				  .appName("test1")
				  .master("local")
				  .getOrCreate();
		/********* Begin *********/
		spark.read().json("people.json").write().parquet("people/id=1");
		spark.read().json("people1.json").write().parquet("people/id=2");
        spark.read().load("people").show(); 

		/********* End *********/
	}

	

}

第3关：json文件介绍

任务描述
本关任务：编写一个sparksql程序，统计平均薪水。

相关知识
为了完成本关任务，你需要掌握json文件介绍及使用。

json文件介绍
Spark SQL可以自动推断JSON数据集的模式并将其加载为Dataset<Row>。可以使用SparkSession.read().json()。

请注意，作为json文件提供的文件不是典型的JSON文件。每行必须包含一个单独的，自包含的有效JSON对象。有关更多信息，请参阅JSON Lines文本格式，也称为换行符分隔的JSON。

package com.educoder.bigData.sparksql2;

import org.apache.spark.sql.AnalysisException;
import org.apache.spark.sql.SparkSession;


public class Test3 {
	
	public static void main(String[] args) throws AnalysisException {
		SparkSession  spark  =  SparkSession 
				  .builder()
				  .appName("test1")
				  .master("local")
				  .getOrCreate();
		/********* Begin *********/
		spark.read().format("json").load("people.json").createOrReplaceTempView("people"); 
        spark.read().format("json").load("people1.json").createOrReplaceTempView("people1");
		spark.sql("select avg(salary) from ( select salary from people union all select salary from people1) a").show();

		/********* End *********/
		
	}

	

}

第4关：JDBC读取数据源

任务描述
本关任务：编写sparksql程序，保存文件信息到mysql，并从mysql进行读取。

相关知识
为了完成本关任务，你需要掌握如何使用JDBC读取数据源。

使用JDBC如何读取数据源
Spark SQL 还包括一个可以使用JDBC从其他数据库读取数据的数据源，与使用JdbcRDD相比，此功能应该更受欢迎。这是因为结果作为DataSet返回，可以在Spark SQL中轻松处理，也可以与其他数据源连接。

JDBC数据源也更易于使用Java或Python，因为它不需要用户提供 ClassTag。（请注意，这与Spark SQL JDBC服务器不同，后者允许其他应用程序使用Spark SQL运行查询）。

package com.educoder.bigData.sparksql2;

import org.apache.spark.sql.Dataset;
import org.apache.spark.sql.Row;
import org.apache.spark.sql.SaveMode;
import org.apache.spark.sql.SparkSession;


public class Test4 {

	public static void case4(SparkSession spark) {
		
		/********* Begin *********/
        //people.json保存至mysql的people
		Dataset<Row> load = spark
最低0.47元/天 解锁文章
编码小袁
关注
专栏目录
头歌实践教学平台 大数据编程 实训答案（一）
qq_63961628的博客
09-26 1570
头歌实践教学平台 大数据编程实训答案
大数据综合项目实训实践课程教学大纲（质量标准）共5页.p
11-02
【大数据综合项目实训实践课程教学大纲（质量标准）】是一份详细指导大数据相关课程实践教学的文档，旨在为学生提供全面、系统的大数据处理技能训练。这份大纲涵盖了五页内容，通常包括课程目标、课程内容、教学方法...
头歌MySQL数据库实训答案 有目录
热门推荐
个人博客地址https://sun98k.github.io/
12-04 25万+
计算机系统综合实训 头歌MySQL数据库实训平台作业，内容比较全比较多，内容仅供参考，如有错误部分希望联系我跟正，觉得有用记得点赞收藏。数据库1-MySQL数据定义与操作实战 数据库2-MySQL数据管理技术实战 数据库3-MySQL数据库系统设计实战 数据库4-层次、网状、关系模型实战
泰迪科技大数据综合实训平台相关平台介绍
tipdm0526的博客
05-13 1140
泰迪科技大数据综合实训平台包含数据整合与处理平台、 大数据挖掘建模平台 、大数据分析可视化平台 、大数据采集平台。四个平台从数据的预处理到数据建模到最后数据的可视化，能让学生拥有完整的体验流程。
（图文详细）云计算与大数据实训作业答案（之篇一MapReduce基础编程 ）
Sunny王维
06-04 3万+
（图文详细）云计算与大数据实训作业答案（之篇一MapReduce基础编程 ） 第1关 合并去重 第2关 整合排序 第3关 信息挖掘 （图文详细）云计算与大数据实训作业答案（之篇一MapReduce基础编程 ） MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。概念”Map（映射）”和”Reduce（归约）” 当前的软件实现是指定一个Map（...
2024年技校大数据实验室建设及大数据实训平台整体解决方案
whwzzc的博客
07-22 825
随着信息技术的迅猛发展，大数据已成为推动产业升级和社会进步的重要力量。为适应市场需求，培养高素质的大数据技术人才，技校作为职业教育的重要阵地，亟需加强大数据实验室的建设与实训平台的打造。本方案旨在提出一套全面、可行的2024年技校大数据实验室建设及大数据实训平台整体解决方案，以提升学生的大数据技能，增强就业竞争力。1、技校大数据实训中心的建设与规划首要任务是从专业定位出发，紧密结合技校的特色教育理念和行业合作优势，明确技能型、应用型人才的培养目标和方向。在此基础上，结合技校特有的教学模式，如理实一体化、工学
头歌平台——大数据技术——上机
韭菜gaga的博客
04-25 1965
本文用于记录本人学习过程中的方法。
高校大数据实训管理平台怎么选择？
tipdm0301的博客
09-23 534
泰迪智能科技大数据实训管理平台分为多个方向包括：人工智能方向、大数据方向、商务数据分析方向，不同高校可以结合高校情况选择合适自己院校的相关产品平台。
职业技能大赛引领下大数据专业实训教学的改革研究
whwzzc的博客
06-25 1168
以大数据技术与应用团体赛项为例，该赛项严格遵循国家大数据发展战略和行业标准，紧密围绕当前社会对大数据技术的热点需求和应用场景，融合高职专业人才培养的实际工作，致力于培养具有数据分析、数据挖掘、数据可视化和大数据系统开发等综合能力的大数据专业人才。唯众的职业院校云端技能大赛平台，是为全国的职业院校专门研发的一站式竞赛平台，主要涵盖了“团队管理、奖项设置、赛项建立、规则建立、赛项发放、作品评测、奖项发放、团队排名”完整的竞赛流程，可同时支撑融媒体、云计算、大数据大赛等赛事。
泰迪智能科技大数据实训平台分类
tipdm0526的博客
09-20 1339
泰迪智能科技大数据综合实训平台包含数据整合与处理平台、 大数据挖掘建模平台 、大数据分析可视化平台及 大数据采集平台，四个平台从数据的预处理到数据建模到最后数据的可视化，能让学生拥有完整的体验流程。
大数据平台运维实训室建设方案
whwzzc的博客
08-18 634
本实训室的主要目的是培养大数据平台运维项目的实践能力,以数据计算、分析、挖掘和可视化的案例训练为辅助。同时,实训室也承担相关考评员与讲师培训考试、学生认证培训考试、社会人员认证培训考试、大数据技能大赛训练、大数据专业课程改革等多项任务。实训室旨在培养德智体全面发展、遵纪守法、掌握大数据平台运维基本技能、具备大数据应用、分析和系统管理与运维能力的高素质大数据技术人才。
大数据一体化教学实训平台简介.docx
12-14
该平台涵盖了9个核心模块，包括云资源管理、教学管理、大数据分析、数据挖掘建模（Python和R语言）、大数据开发实训、编程实训以及大数据整合等功能。其目标是为学生和教师提供一个集教学、实践和资源管理于一体的...
大数据一体化教学实训平台简介.pdf
10-02
该平台整合了9大模块，包括云资源管理、教学管理、大数据分析、数据挖掘建模（Python和R语言）、大数据开发实训、编程实训以及大数据整合。平台的核心目标是为教学和实训提供一个统一的环境，涵盖从课程资源到硬件...
大数据分析入门概述
m0_47498690的博客
10-04 2433
本文旨在为有意向学习数据分析、数据开发等大数据方向的初学者提供一个学习指南，当然如果你希望通过视频课程的方式快速入门，B站UP主戴戴戴师兄的课程质量很高，并且适合初学者快速入门。本文的目的旨在为想要了解大数据但不知道该学习什么内容的初学者介绍大数据相关的各类工具以及各项技能。后续会按照本文提到的关键字逐条更新更详细的内容以及具体案例。SQL（Structured Query Language）是一种标准化的编程语言，用于管理关系数据库管理系统（RDBMS），如MySQL、PostgreSQL、Oracle、
Hadoop之WordCount测试
最新发布
月亮的技术博客
10-04 912
Hadoop是Apache旗下的一个用Java语言实现的开源软件框架，是一个开发和运行处理大规模数据的软件平台。Hadoop的核心组件包括Hadoop分布式文件系统（HDFS）和MapReduce编程模型。HDFS是一个高度容错的系统，用于存储大规模数据集，具有高可靠性、高扩展性和高吞吐率的特点。MapReduce则是一个用于处理这些数据集的编程模型，它简化了并行编程的复杂性，使得开发者可以专注于业务逻辑的实现。Hadoop的优势在于其高可靠性、高扩展性、高效性、高容错性以及低成本。
项目管理-信息技术发展
GAVIN
10-04 565
对称加密：DES 3DES AES RC5 IEDA SM1 SM4。2）分类：PAN LAN MAN WAN 公用网 专用网。4）数据结构模型 层次模型 网状模型 关系模型。1)存储 分类：DAS FAS NAS SAN。物联网（IoT） 感知层 网络层 应用层。8） 5G 高速率 低时延 大连接。设备安全 数据安全 内容安全 行为安全。4.信息安全 保密性 完整性 可用性。3）网络协议 语法 语义 时许。5）IEEE 802 规范。6）TCP/IP 协议。4）网络标准协议 7层。
netty之SpringBoot+Netty+Elasticsearch收集日志信息数据存储
CSDN_LiMingfly的博客
10-04 748
将大量的业务以及用户行为数据存储起来用于分析处理，但是由于数据量较大且需要具备可分析功能所以将数据存储到文件系统更为合理。尤其是一些互联网高并发级应用，往往数据库都采用分库分表设计，那么将这些分散的数据通过binlog汇总到一个统一的文件系统就显得非常有必要。#开发环境环境准备windows安装包 下载注意 es是以来java环境 所以需要安装jdk 支持1.7以上es-hander下载可视化操作插件@Id//姓名//年龄//级别//时间//电话//邮箱//地址。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

编码小袁

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值