SparkSQL读写备份还原后的表报错UnknownHostException: nameservice01

问题背景

使用的是Ambari 2.7.3大数据平台，原本集群要开启namenode高可用，但是因为某些搞不定的原因重新安装了集群，针对Hive数据做了备份，然后在当前集群环境做了数据恢复。所有的数据通过Hive都可查询。但是有程序执行读写Hive数据的时候报错UnknownHostException: nameservice01，具体如下

Caused by: java.lang.IllegalArgumentException: java.net.UnknownHostException: nameservice01
	at org.apache.hadoop.security.SecurityUtil.buildTokenService(SecurityUtil.java:445)
	at org.apache.hadoop.hdfs.NameNodeProxiesClient.createProxyWithClientProtocol(NameNodeProxiesClient.java:132)
	at org.apache.hadoop.hdfs.DFSClient.<init>(DFSClient.java:354)
	at org.apache.hadoop.hdfs.DFSClient.<init>(DFSClient.java:288)
	at org.apache.hadoop.hdfs.DistributedFileSystem.initialize(DistributedFileSystem.java:177)
	at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:3303)

问题分析

• nameservice01的确是开启高可用的时候默认的连接配置，但是当前集群里的配置文件找遍了都没有发现相关的内容
• 而且报这些错误的数据都有个特点，都是程序执行时，SparkSQL直接写出的表，Hive原生的表是没问题的，而且读取和写入都会报这个错。
• 既然这样，猜想SparkSQL直接写出的表和Hive原生的表可能表结构会有区别，使用指令show create table xxx;查看建表语句。
• 对比一看发现Hive原生的表的建表语句只有LOCATION一项指定了数据文件的位置，但是SparkSQL直接写出的表有两项LOCATION和WITH SERDEPROPERTIES 中的path，而且LOCATION是当前集群hdfs上的正确路径，但path还是以前高可用集群的配置。

问题解决

可以把path的配置改成和LOCATION一样就行了。
执行语句如下

ALTER TABLE db1.tb1 SET SERDEPROPERTIES ( 'path'='hdfs://xxxx:8020/warehouse/tablespace/managed/hive/db1.db/tb1')

扩展

通过这个问题可以看出sparksql直接存储数据和存储到Hive表还是有区别的，多了一些属性，像这个path就是sparksql读取数据的路径配置，并不是LOCATION