hive表分区上传数据出现的一个问题及解决思路

hive表分区用load上传数据时, 出现了 报错:

        Failed with exception MetaException(message:For direct MetaStore DB connections, we don't support retries at the client level.)org.apache.hadoop.hive.ql.metadata.HiveException: MetaException(message:For direct MetaStore DB connections, we don't support retries at the client level.

看到这里排除掉代码本身错误, 接着在试一下不分区用load上传数据, 正常,  错误定位到三个地方:

       1. hive或者hadoop关于数据分区部分的组件或模块;

       2.hive或者hadoop关于元数据(matestore)管理的组件或模块;

       3.数据库中关于分区的元数据管理的部分

从日志来看, 综合来看, 1比较有可能, 想要验证的话, 有一个想法,就是把hive换成内嵌模式, 如果内嵌模式也出现同样的问题, 那就说明却是是问题1, 再看看其他的

问题2想要验证也跟1一样, 需要换到内嵌模式,  看来内嵌模式很值得一试,但还是看看问题3怎么说.

问题3想要验证最简单, hive跟mysql连接就只有一个数据库, 只要换个数据库, 改改字符集问题就ok, 验证下来只要10分钟左右, 值得一试,

接下来, 创库, 更改字符集, 修改hive的hive-site.xml配置文件换成新库, 创分区表, load将数据用分区格式上传, O了.

找bug就像捉迷藏, 可以躲的地方很多, 并且最有可能的地方不一定就藏在哪里. 全面综合考虑, 才能最快的解决bug.