2024年大数据最新spark基础使用指南(2)，2024年最新系列教学

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

    //创建视图
    //ds1.createOrReplaceTempView("tableName1");
    ds2.createOrReplaceTempView("person");

    //TODO 自定义UDF函数

// sparkSession.udf().register(“udfName”,(String value)=>{
// value.toUpperClass();
// })

    //TODO ================SQL================================
    String sql = "SELECT " +
            " name," +
            " (age + 1) as nianl" +
            " FROM" +
            " `person`";
    sparkSession.sql(sql).show();

    sparkSession.sql(sql).createOrReplaceTempView("table1");
    int age = 12;
    //传递参数
    sparkSession.sql("select name,nianl from table1 where nianl = '"+age+"'").show();
    //sparkSession.sql("select name,nianl from person where nianl = '${age}'").show();

/**

• ±–±—±–+
• | id|NAME|age|
• ±–±—±–+
• | 1| zs| 11|
• | 2| ls| 22|
• | 3| ww| 33|
• ±–±—±–+
• */
  //TODO DSL================
  System.out.println(“=DSL=”);
  ds2.select(col(“age”).plus(1)).show();

// ds2.groupBy(“name”)
// .count()
// .orderBy(col(“age”).desc()) //使用col()需要引入包 import static org.apache.spark.sql.functions.col;
// //.write()
// //.mode(SaveMode.Overwrite)
// //.jdbc()
// .filter(“”) //过滤 相当于where
// .agg(avg(“age”),max(“age”))//分类聚合函数，常与groupby连用
// .show();
// ;

// //方法二
// ds1.write().format(“jdbc”)
// .option(“url”,“jdbc:mysql//…”)
// .option(“user”,“root”)
// .option(“password”,“123”)
// .option(“dbtable”,“t_table”)
// .mode(SaveMode.Append)
// .save();

    //TODO 关闭
    sparkSession.stop();
}

}

#### 二、使用scala语言编写


       scala是spark的主要编程语言，相较于java更简洁


上代码：

package spark.sql

import org.apache.spark.SparkContext
import org.apache.spark.sql.{DataFrame, DataFrameReader, Dataset, SaveMode, SparkSession}

import java.util.Properties

/**

• 操作外部数据源

• 支持多种文件格式、文件系统、数据库

• 读：sparkSession.read.格式（text、json、jdbc）

• 写：dataframe .write.格式（text、json、jdbc）

• /
  object SparkSql04_DataSource {
  def main(args: Array[String]): Unit = {
  //TODO 0、运行环境
  val sparkSession = SparkSession.builder().master("local[]").getOrCreate()
  val sc: SparkContext = sparkSession.sparkContext
  sc.setLogLevel(“WARN”)
  import sparkSession.implicits._

  //TODO 1、加载数据
  val df: DataFrame = sparkSession.read.json(“data/input/test.json”)
  //sparkSession.read.jdbc(“”,“”,“”) //读取数据库内容
  df.show()

  val df1: DataFrame = sparkSession.read.format(“jdbc”)
  .option(“url”, “jdbc:mysql://localhost:3306/bootdo”)
  .option(“driver”, “com.mysql.jdbc.Driver”)
  .option(“user”, “root”)
  .option(“password”, “123456”)
  .option(“dbtable”, “promptInfo”).load()

  df1.show()

  //TODO 2、处理数据
  val pop = new Properties()
  pop.setProperty(“user”,“root”)
  pop.setProperty(“password”,“123456”)
  df.coalesce(1) //指定分区数
  .write.mode(SaveMode.Overwrite) //如果表存在则覆盖
  .jdbc(“jdbc:mysql://localhost:3306/bootdo?characterEncoding=utf8”,“person”,pop)

  val sqlStr: String =
  “”"
  |select value,count(*) as cNum
  |from t_words
  |group by value
  |order by value
  |“”".stripMargin
  //stripMargin用来对齐每行字符串，每行用 | 开头
  sparkSession.sql(sqlStr).show()

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

取](https://bbs.csdn.net/topics/618545628)**

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！