spark简单map操作

SparkSession.Builder builder =   SparkSession.builder().appName("test").master("local")
                .config("spark.sql.orc.impl", "native");
//                .config("spark.sql.streaming.checkpointLocation","data/checkpoint/1");
        SparkSession sparkSession = builder.getOrCreate();
        StructType userSchema = new StructType()
                .add("_c0", "string").add("_c1", "string").add("_c2", "string").add("_c3", "string")
                .add("_c4", "string").add("_c5", "string").add("_c6", "string").add("_c7", "string")
                .add("_c8", "string").add("_c9", "string").add("_c10", "string").add("_c11", "string");
        List<Row> list = new ArrayList<>();
        Dataset<Row> ds = sparkSession.read().option("sep", "|").format("csv").option("header",false).load("task-spark/data/S21/streaming.txt");
        JavaRDD<Row> rowJavaRDD = ds.javaRDD();
        JavaRDD<Row> map1 = rowJavaRDD.map(new Function<Row, Row>() {
            @Override
            public Row call(Row v1) throws Exception {
                String str = null;
                if("中国".equals(v1.get(0))){
                    str = String.valueOf(v1.get(0));
                }
                ArrayList<Object> objects = new ArrayList<>();
                for(int i = 0; i < v1.length(); i++){
                    objects.add(v1.get(i));
                }
                objects.add(str);
                Row row = RowFactory.create(objects.toArray());
                return row;
            }
        });
        StructType schema = ds.schema();
        StructType add = schema.add("_c4", "string", true);
        System.out.println(schema);
        Dataset<Row> dataFrame = sparkSession.createDataFrame(map1, add);
        dataFrame.show();

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值