select报错 spark_使用spark-sql报错 “Metastore contains multiple versions”

1、背景：

进入spark集群，cd/spark,执bin/spark-sql,报错

image.png

2、解决方法

2.1、是hive元数据的问题，进入spark/conf/hive-site.xml，找到mysql的配置信息

2.2、进入mysql,切换到hive所使用的DB

2.3、 select * from VERSION;

image.png

2.4、保留第一条记录，其他记录全部删除

delete from VERSION where VER_ID != 1;

3、问题原因

异常是因为在启动hive命令时会检查hive源数据中有一张VERSION表，如果元数据版本信息获取不到(原因可能是元数据库异常||网络异常||短期内作业量较多操作都会造成查询不到版本信息)，这种情况下会判断hive.metastore.schema.verification属性是true还是false，为true时直接抛出MetaException，为false时打出warn警告然后插入一条version数据(这种情况下会造成多条version记录后面的作业会受影响)

4、彻底解决

4.1、hive安装好后将hive-site.xml中hive.metastore.schema.verification设置为true，version获取不到时报出异常，不去插入version信息，这样本作业执行失败不会影响下游作业；

4.2开启metastore服务，hive统一连接metastore，由守护进程启动metastore，避免大量hive脚本初始化元数据信息时获取不到版本信息；

4.3、优化hive元数据库；