将 RDD 转化成 DF,有两种方式:
- 利用 schema 来从 RDD<String>\,转化为 RDD<Row>\,再转化成 DataFrame。
- 构造 bean 对象来从 RDD 转化成 Dataset,再转化成 DataFrame。
以 schema 来构建 DataFrame
//1. 将 JavaRDD<String> 转换为 JavaRDD<Row>
JavaRDD<Row> inRDD = jsc.textFile("in/1.txt").map(new Function<String, Row>() {
@Override
public Row call(String s) throws Exception {
String s1 = s.split(",")[0];
String s2 = s.split(",")[1];
return RowFactory.create(Integer.parseInt(s1), s2);
}
});
//2. Schema 的处理。
List<StructField> structFilelds = new ArrayList<StructField>();
structFilelds.add(DataTypes.createStructField("score", DataTypes.IntegerType, true));
structFilelds.add(DataTypes.createStructField("name", DataTypes.StringType, true));
StructType structType = DataTypes.createStructType(structFilelds);
//3. 通过 Schema 和 Java<Row> 转化为 DF
Dataset<Row> df = spark.createDataFrame(inRDD, structType);
df.show();
先构建 bean 类来生成 DataFrame
下面这种方式会导致列名不是按照 bean 的顺序出现,而是以字典序出现。
//1. 将 JavaRDD<String> 转换为 JavaRDD<Object>
JavaRDD<Person> inRDD = jsc.textFile("in/1.txt").map(new Function<String, Person>() {
@Override
public Person call(String s) throws Exception {
Person person = new Person();
String s1 = s.split(",")[0];
String s2 = s.split(",")[1];
person.setName(s2);
person.setScore(Integer.valueOf(s1));
return person;
}
});
//2. 通过 JavaBean 和 JavaRDD<Object> 转化为 DF
Dataset<Row> df = spark.createDataFrame(inRDD, Person.class).toDF();
df.show();