java rdd_JavaRDD 转化为 Dataset<Row>的两种方案

本文介绍了将JavaRDD转换为Dataset<Row>的两种方法。第一种通过反射利用实体类Student,第二种直接创建StructType。最后将转换后的Dataset写入parquet文件。
摘要由CSDN通过智能技术生成

JavaRDD 转化为 Dataset方案一:

实体类作为schema定义规范,使用反射,实现JavaRDD转化为Dataset

Student.java实体类:

import java.io.Serializable;

@SuppressWarnings("serial")

public class Student implements Serializable {

private String sid;

private String sname;

private int sage;

public String getSid() {

return sid;

}

public void setSid(String sid) {

this.sid = sid;

}

public String getSname() {

return sname;

}

public void setSname(String sname) {

this.sname = sname;

}

public int getSage() {

return sage;

}

public void setSage(int sage) {

this.sage = sage;

}

@Override

public String toString() {

return "Student

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值