通过样例类创建DataFrame,并用spark sql 操作

现有这样两份数据:
1、该数据每日进行采集汇总。数据范围涵盖全国主要省份(港澳台、西藏、海南暂无数
据)的 180+的大型农产品批发市场,380+的农产品品类(由于季节性和地域性
等特点,每日的数据中不一定会涵盖全部的农产品品类)
在这里插入图片描述

2、全国所有省级行政区和简称
在这里插入图片描述

对上述的两份数据进行一些处理

需求写在代码注释,话不多说,直接上代码:

import org.apache.spark.rdd.RDD
import org.apache.spark.sql.{
   DataFrame, SparkSession}

object DSPractice1 extends App{
   
  //todo 根据数据的结构创建两个样例类
  case class Products(name:String,price:Float,craw_time:String,market:String,province:String,city:String)
  case class Provinces(pname:String,peng:String)

  //todo 创建一个SparkSession
  val spark = SparkSession.builder().master("local[5]").appName("createDataset5").getOrCreate()
  val sc = spark.sparkContext
  //todo 导包
  import spark.implicits._

  //todo 通过调用样例类创建DataFrame
  //todo 因为在后续操作中发现第一张表中有脏数据,所以这里用“filter(x=>x.length==6)”过滤
  private val proDF: DataFrame <
  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值