Spark SQL建表字段超过22个(scala2.1x)

Spark SQL建表字段超过22个(scala2.1x)

办法1:case class类继承Product类;未成功
方法2:把字段处理为数组格式,根据下标来取数据,起别名;成功
坏处:无法使用scala函数,只能用sql处理,并且sql会比较长,可以先在前面把数据处理完,然后再用sql处理
测试样例:在这里插入图片描述
记录:spark sql自定义udf
样例
sqc.udf.register(“str_split”,(s:String)=>s.split(","))

方法3:为字段构建StructType类
例子
在这里插入图片描述
方法2是我刚开始不知道咋写自己想的,方法3是从官网上看的两种建表方法的另一种

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值