问题描述:
Hive上有张表在Hue上使用hive引擎查询可以读取到数据,换成Spark Sql引擎查询就报错了:
org.apache.spark.sql.execution.datasources.SchemaColumnConvertNotSupportedException at
org.apache.spark.sql.execution.datasources.parquet.VectorizedColumnReader.constructConvertNotSupportedException(VectorizedColumnReader.java:339) at
解决方法:
从报错信息看跟Spark使用VectorizedColumnReader有关,在查询时关闭VectorizedReader:
set spark.sql.parquet.enableVectorizedReader=false;
select * from t_test where id=1