session.createDataFrame(personRdd, Person.class) 返回的dataframe没有数据问题

package com.zla.test;


import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.function.Function;
import org.apache.spark.api.java.function.MapFunction;
import org.apache.spark.api.java.function.VoidFunction;
import org.apache.spark.sql.Dataset;
import org.apache.spark.sql.Row;
import org.apache.spark.sql.SparkSession;

public class test {
    public static void main(String[] args) {
        SparkConf sparkConf = new SparkConf();
        sparkConf.setAppName("Simple Application")
                .set("spark.testing.memory",(512 * 1014 * 1024)+"")
                .setMaster("local[*]");
        SparkSession session = SparkSession.builder().config(sparkConf).getOrCreate();
        Dataset<String> stringDataset = session.read().textFile("D:\\workspace\\sparkdemo\\src\\main\\resources\\person.txt");
        JavaRDD<String> stringJavaRDD = stringDataset.toJavaRDD();
        JavaRDD<Person> personRdd = stringJavaRDD.map(new Function<String, Person>() {
            @Override
            public Person call(String s) throws Exception {
                return new Person(s.split(" ")[0], Integer.parseInt(s.split(" ")[1]));
            }
        });
        personRdd.foreach(new VoidFunction<Person>() {
            @Override
            public void call(Person person) throws Exception {
                System.out.println(person.toString());
            }
        });

        Dataset<Row> dataFrame = session.createDataFrame(personRdd, Person.class);
        dataFrame.show();
    }
}

上面的Person类一定要写上get和set方法,否则无法获取Person的类型

package com.zla.test;

public class Person {
    public String name;
    public Integer age;

    public Person() {
    }

    public Person(String name, Integer age) {
        this.name = name;
        this.age = age;
    }

    public String getName() {
        return name;
    }

    public void setName(String name) {
        this.name = name;
    }

    public Integer getAge() {
        return age;
    }

    public void setAge(Integer age) {
        this.age = age;
    }

    @Override
    public String toString() {
        return "Person{" +
                "name='" + name + '\'' +
                ", age=" + age +
                '}';
    }
}

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

YiRan_Zhao

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值