spark sql 之 collect_set collect_list 后WrappedArray 取值

示例:demo数据

userIdplace
1001北京
1001上海

spark建立的虚拟表 userPlaceView。根据用户ID进行分组,用collect_set(place)获取place信息。
spark sql 函数查询 地址

Dataset<Row> resultDataSet = SqlContext.sql("select userId, collect_set(place) as place from userPlaceView group by userId");
resultDataSet.javaRDD().map((Function<Row, UserPlaces>) f->{ //获取分组聚合后的place信息
	//WrappedArray 开始
	WrappedArray wrappedArray = (WrappedArray)f.get(1);
	for(int i=0; i<wrappedArray.size(); i++){
         WrappedArray data = (WrappedArray)wrappedArray.apply(i);
         for(int z=0; z<data.size(); z++){
             String place = (String)data.apply(z);
             System.out.println(place);
         }
     }
     ......
});

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值