java中spark数据集字段下划线改成驼峰

前文：因为业务实际需要，在spark中hive存储数据用的是下划线格式，但是从hive迁移数据到mongoDB当中需要将下划线改成驼峰格式。

正文

            String sql = "select * from student";
            Dataset<Row> dataset = sparkSession.sql(sql);

这是我们需要的数据，从spark层搜到的。现在dataset里面的数据集每一列字段都如“hello_word”，我们需要对数据集的列进行修改，使其变成“helloWord”。

修改过程：

第一版（有些小问题）

            //取出的是列的数组
            String[] columns = dataset.columns();
            List<String>stringList = new ArrayList<>();
            for (int i = 0; i<columns.length ; i++){
                String join  = StrUtil.toCamelCase(columns[i]);
                stringList.add(join);
            }
            //这样写能通过语法检查，但是编译会抛异常
            String[] strings = (String[]) stringList.toArray();
            Dataset<Row> dataset1 = dataset.toDF(newColumns);
            MongoSpark.save(dataset1);

如上图所示，我们先取出dataset所有的列，组成一个数组。这个时候我们对数组进行操作就容易多了。只要对数组遍历操作就能将每个字段拿到，然后对字段进行操作，就ok了。

但是，list在toArray()的时候，转的是Object【】，而我们需要的是string【】。对其强转，这样写就如注释上写的一样可以通过java的语法检查，但是在编译过程会抛异常，如图所示：

[Ljava.lang.Object; cannot be cast to [Ljava.lang.String;

显示的就是Object不能转换为String。

第二版（正常可用）

            String[] columns = dataset.columns();
            List<String>stringList = new ArrayList<>();
            for (int i = 0; i<columns.length ; i++){
                String join  = StrUtil.toCamelCase(columns[i]);
                stringList.add(join);
            }
            String[] newColumns = new String[stringList.size()];
            newColumns = stringList.toArray(newColumns);
            Dataset<Row> dataset1 = dataset.toDF(newColumns);
            MongoSpark.save(dataset1);

如图，对list进行处理一下，就ok了，就可以。

总结

其实总结起来就是两步。

1、对dataset进行操作，将需要的列进行操作，将它们合成一个数组。

2、对数组进行操作，将字段修改成我们需要的格式，就ok了。

这样就能操作成驼峰格式了，是不是很简单呢~