报错信息
org.apache.spark.sql.AnalysisException: Table or view not found:
解决方法
第一步加配置文件
在IDEA中resource目录中添加三个配置文件从(从自己的安装的集群上拷贝下来)
第二步代码的配置
import org.apache.spark.sql.SparkSession
import org.apache.spark.sql.types.{FloatType, IntegerType, StringType, StructField, StructType}
import org.junit.Test
class Spark_hive {
private val spark: SparkSession = SparkSession
.builder()
.master("local[6]")
.appName("hive spark")
// 设置warehouse位置
// 数据库表的位置
.config("spark.sql.warehouse.dir", "hdfs://node01:8020/user/hive/warehouse")
// 设置metastore位置,即元数据的位置,需要设置可远程连接
.config("hive.metastore.uris", "thrift://node03:9083")
// 开启hive支持
.enableHiveSupport()
.getOrCreate()
@Test
def spark_hive(): Unit ={
// 访问表的时候需要在表名前加数据库
// 数据库名.表名
spark.sql("select * from hive_explode.explode_lateral_view").show()
}
}