hive序列化格式报错（OrcSerdeRow）

1、报错截图

 2、原因分析

该异常发生在insert overwrite阶段，即select出来的数据插入目标表时抛出异常。从异常栈中可以清楚地看到OrcOutputFormat、java.lang.ClassCastException这些信息，可见这是Reduce任务将最终结果进行持久化（写入HDFS文件系统）时出现错误。首先，我们需要明确这个数据持久化的大体流程是什么样的。

Read过程：InputFormat将输入流（InputStream）分割成纪录（<key，value>），Deserializer将纪录（<key，value>）解析成列对象。

Write过程：Serializer将列对象转化为纪录（<key，value>），OutputFormat将纪录（<key，value>）格式化为输出流（OutputStream）。

上图中描绘的分别是数据载入内存和持久化的过程。异常信息中的OrcOutputFormat说明错误出在数据持久化过程中。从图中可知，序列化器Serializer的输出数据，就是OutputFormat的输入数据。接下来就是确定目标表的SerDe/InputFormat/OutputFormat分别是什么。通过下面命令查看。

desc formatted $table

结果如下：

Storage InformationSerDe Library: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe

InputFormat: org.apache.hadoop.hive.ql.io.orc.OrcInputFormat

OutputFormat: org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat

由上可知，目标表的SerDe为LazySimpleSerDe，而其Input/OutputFormat是orc的。所以异常的原因也就得出：序列化/反序列化器LazySimpleSerDe在执行serialize后的结果类型是Text，而OrcOutputFormat的接收数据类型必须是OrcSerdeRow。这就造成了ClassCastException。

原因找到后，解决办法就很简单了，将该table的fileformat修改为orc即可，如下所示：

ALTER TABLE $table SET FILEFORMAT ORC;