Spark SQL建表字段超过22个(scala2.1x)
办法1:case class类继承Product类;未成功
方法2:把字段处理为数组格式,根据下标来取数据,起别名;成功
坏处:无法使用scala函数,只能用sql处理,并且sql会比较长,可以先在前面把数据处理完,然后再用sql处理
测试样例:
记录:spark sql自定义udf
样例
sqc.udf.register(“str_split”,(s:String)=>s.split(","))
方法3:为字段构建StructType类
例子
方法2是我刚开始不知道咋写自己想的,方法3是从官网上看的两种建表方法的另一种