第一篇:Encoders类研究(demo 语言:java)共1000篇(spark2.3持续更新中...........)

        Dataset<CityToCityLevel> resultTmp = result2.map((MapFunction<Row, CityToCityLevel>) row -> {
            CityToCityLevel citylevel = new CityToCityLevel();
            if (row.get(0) != null) {
                System.out.print(row.getInt(3));
                if (row.getInt(3) > 10) {

                    citylevel.setScore_level(3);
                    citylevel.setStartCityId(row.<Integer>getAs(3));
                    citylevel.setEndCityId(row.<Integer>getAs(4));

                } else {
                    citylevel.setScore_level(2);
                    citylevel.setStartCityId(row.<Integer>getAs(3));
                    citylevel.setEndCityId(row.<Integer>getAs(4));

                }
                return citylevel;
            }


            return null;
        }, Encoders.bean(CityToCityLevel.class));

 在进行网络传输的过程中,需要经历序列化,反序列化过程,在反序列化的过程中需要解码,在序列化的过程中需要编码

所以你需要你返回的过程中编码城什么类型的数据,是string ,还是long,还是一个对象,还是一个map 都需要声明一下

如果需要返回的数据是一个对象:Encoders.bean(CityToCityLevel.class)

 如果需要返回的数据是String :  Encoders.STRING()

 Dataset<String> resultTmp = result2.map((MapFunction<Row, String>) row -> {
      return null    
  }, Encoders.STRING());

等等以此类推
下面我把源码翻译一下


/*
 * Licensed to the Apache Software Foundation (A
  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值