qq_48146690的博客

原创 关于SparkSQL读取json文件中列的值前后含空格而影响排序，如何除去空格的方法

除去空格的方法有许多，也许DataFrame转换成rdd后利用再在转成DataFrame的过程中使用trim可以解决，但是当其他列中含有空值的时候其实在转化成DataFrame会报空指针的异常。 这里有一个避免这种异常而去空格的方法就是利用withColumn()方法。 withColumn中有两个参数，第一个是列名，第二个是对列进行什么操作。 json文件： { "id":1, "name":" Ella","age":36 } { "id":2,"name":"Bob","age":29 }