相关的资源文件地址
链接:https://pan.baidu.com/s/1QGQIrVwg56g9eF16ERSLwQ
提取码:7v8n
txt 文件读写示例
import org.apache.spark.sql.Dataset;
import org.apache.spark.sql.Row;
import org.apache.spark.sql.SaveMode;
import org.apache.spark.sql.SparkSession;
public class test10 {
public static void main(String[] args) {
SparkSession spark = SparkSession
.builder()
.config("spark.driver.host", "localhost")
.appName("TextFileTest")
.master("local")
.getOrCreate();
spark.sparkContext().setLogLevel("ERROR");
//1: 将json文件数据转化成text文件数据,
//**********注意只能保存一列**********
//compression 压缩编解码器
//`none`, `bzip2`, `gzip`
Dataset<Row> jsonDF = spark.read().json(Utils.BASE_PATH + "/people.json");
jsonDF.select("name")
.write()
.mode(SaveMode.Overwrite)
.option("compression", "bzip2")
.text(Utils.BASE_PATH + "/text");
//读取text文件,返回DataFrame
Dataset<Row> textDF = spark.read().text(Utils.BASE_PATH + "/text");
textDF.show();
// +-------+
// | value|
// +-------+
// |Michael|
// | Andy|
// | Justin|
// +-------+
//读取text文件,返回Dataset<String>
Dataset<String> textDS = spark.read().textFile(Utils.BASE_PATH + "/text");
textDS.show();
// +-------+
// | value|
// +-------+
// |Michael|
// | Andy|
// | Justin|
// +-------+
spark.stop();
}
}