Spark读取文件

spark读取文件时关于schema的注意点

 

• .option(“inferSchema”,“true”) 模式推理会导致加载两倍的源数据
• 使用ByteType只能解析范围在[-128,127]内的整数，
• 对于大于127的整数解析为null，并且会造成同行所有的列都被解析为null；所以应该使用IntegerType解析RGB列。
• 由于谓词下推导致不会被解析的数据列，即使DataType指定有误，也不会造成同行的其他列为null，因为此列数据不会被解析。