spark在将嵌套json作为数据源时,schema的构造问题

    val schema = new StructType()
      .add("data",
        new StructType()
          .add("channel", "string", true)
          .add("mid", "string", true)
          .add("page", "string", true)
          .add("keyword", "string", true)
          .add("stay_time", "int", true))
      .add("distinct", "string", true)
      .add("time", "string", true)
      .add("type", "string", true)
      .add("event", "string", true)
      .add("properties",
        new StructType()
          .add("referer", "string", true)
          .add("ip", "string", true)
          .add("user_agent", "string", true))

对应的数据格式为:

{
   "data": {
       "channel": "channel",
       "mid": "mid",
       "page": "page",
       "keyword": "keyword"
   },
   "distinct_id": "distinct_id",
   "time": time,
   "type": "type",
   "event": "open/close",
   "properties": {
       "ip": "ip",
       "user_agent": "user_agent"
   }
}
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值