(超详细)全国职业院校技能大赛-GZ033大数据应用开发-离散数据处理-子任务3指标计算_大数据技术应用开发国赛(1)

文章详细展示了如何使用Java和ApacheSpark进行数据库连接,包括MySQL和Hive,执行SQL查询,如省份平均消费比较和用户连续下单分析。作者提供了两个示例代码片段,展示了数据处理和聚合操作。
摘要由CSDN通过智能技术生成

计算2代码如下:

import java.util.Properties
import org.apache.spark.SparkConf
import org.apache.spark.sql.SparkSession



object cal02 {
  def main(args: Array[String]): Unit = {
    // 连接到 MySQL 数据库
    val mysqlUrl = "jdbc:mysql://master:3306/shtd_store?useUnicode=true&characterEncoding=utf8"
    val mysqlProperties = new Properties()
    mysqlProperties.setProperty("user", "root")
    mysqlProperties.setProperty("password", "1234")

    // 连接hive
    val conf = new SparkConf().setMaster("local").setAppName("cal02")
    val spark = SparkSession.builder().config(conf).enableHiveSupport().getOrCreate()
    spark.sql("use dwd")
    println("Connected to Hive database: dwd")

    // 执行 SQL 查询
    println("----- provinceavgcmp -----")
    val provinceavgcmp = spark.sql(
      """
        |SELECT
        |  DISTINCT b.id AS province_id,
        |  b.name AS province_name,
        |  AVG(a.final_total_amount) OVER (PARTITION BY b.id) AS every_province_avgconsumption,
        |  AVG(a.final_total_amount) OVER () AS all_province_avgconsumption,
        |  CASE
        |    WHEN AVG(a.final_total_amount) OVER (PARTITION BY b.id) > AVG(a.final_total_amount) OVER () THEN '大于'
 
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值