java spark dataset_spark java dataset api没有提供迭代器

spark  java dataset api没有提供迭代器

所以处理一些列表内部数据关联转换,而不是只处理单条数据的转换得换成javaRdd api。

下面是一个简单例子。通过进入宿舍的时间 找到后面的第一条离开宿舍的记录。并合并成一条完整的宿舍的 进出记录。

这种业务,直接获得列表的当前对象,不能获得整个列表是很难实现的。

static final Encoder inoutEncoder = Encoders.bean(AccessInout.class);

public static void main(String[] args) {

SparkSession spark = SparkSession

.builder().master("local")

.appName("Java Spark SQL data sources example")

.config("spark.some.config.option", "some-value")

.getOrCreate();

runJdbcDatasetExample(spark);

//spark.stop();

}

private static void runJdbcDatasetExample(SparkSession spark) {

Properties connectionProperties = new Properties();

connectionProperties.put("user", "root");

connectionProperties.put("password", "0000000&

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值