在使用scala+sbt开发spark应用程序时,会遇到找不到hive class这个问题。
spark操作hive应该导入spark-hive包。关于spark-hive包,mvnrepository网站的sbt引用区域写的是:
libraryDependencies += “org.apache.spark” %% “spark-hive” % “2.4.4” % "provided"
但是实际上,应该写成libraryDependencies += “org.apache.spark” %% “spark-hive” % “2.4.4” 。再运行后,就不会出现找不到Hive Class的问题了。
Unable to instantiate SparkSession with Hive support because Hive classes are not found.解决办法
最新推荐文章于 2024-04-04 23:23:48 发布