Spark执行sql命令出错：Uable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient

运行Spark作业出现问题

异常信息：pyspark.sql.utils.AnalysisException: ‘java.lang.RuntimeException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient;’

问题出现原因

$前提：必须先保证你的hive-site.xml中配置的用户名和密码是正常可以连接上msyql数据库$

• (1) PySpark 没有找到 MySQL 的 JDBC 驱动。因此应该首先检查在自己的hive安装目录的lib目录中是否有mysql的驱动。如果没有，则需要下载一个mysql的jdbc驱动包上传到hive安装目录的lib目录中。并且在启动pyspark时，不能直接使用命令：pyspark，而是应该使用命令：pyspark --master spark://node1(主机名):7077 --jars (mysql的驱动包所在路径)。如还有疑惑，可参考下面启动命令。

  pyspark --master spark://node1:7077 --jars 	/home/hadoop/hive/lib/mysql-connector-java-5.1.46.jar
  

• (2) hosts配置不正确导致无法连接 MySQL。因此需保证在hosts文件中含有以下配置。

  127.0.0.1  node1
  127.0.0.1  localhost
  

• (3) hive的版本和spark中hive的版本不一致，因为spark中hive的版本默认为 version 1.2.0。故解决该问题，需要在hive-site.xml中添加如下配置。（hive中的hive-site.xml配置文件和spark/conf中的配置文件都需要添加）

  <property>
      <name>hive.metastore.schema.verification</name>
      <value>false</value>
  </property>
  

最后，以上解决方法虽然可以单独使用，但是不建议单独使用。因为以上三种解决方法我都单独使用过，然而却依然报错。可是，当我三种解决方法一起使用时，却把问题解决了。故个人强烈推荐三种解决方法一起使用。

$温馨提醒：需要先修改文件，最后再启动pyspark。$