2018/04/19
本次实验通过DF自身的读取方式去读取文件,本身这个文件也是DF自身的函数进行的保存。
虽然其自身可以推断这个相应的数据类型,即各列的数据类型,但是我的数据他都弄成了string。还不是非常智能。
而且自己去制定这个数据方案的话,还可加快加载速度。
s = spark.read.schema(""""""")
然后用这个S去读取文件即可,比如s.csv()
需要注意的是,这个方案制定的时候,一定要保证列属性顺序不要错,错了的话,都是null。
2018/04/19
本次实验通过DF自身的读取方式去读取文件,本身这个文件也是DF自身的函数进行的保存。
虽然其自身可以推断这个相应的数据类型,即各列的数据类型,但是我的数据他都弄成了string。还不是非常智能。
而且自己去制定这个数据方案的话,还可加快加载速度。
s = spark.read.schema(""""""")
然后用这个S去读取文件即可,比如s.csv()
需要注意的是,这个方案制定的时候,一定要保证列属性顺序不要错,错了的话,都是null。