Spark启动报错 WARN conf.HiveConf: HiveConf of name hive.metastore.local does not exist

最新推荐文章于 2023-09-01 21:09:22 发布
最新推荐文章于 2023-09-01 21:09:22 发布
阅读量1.7k 收藏 2
点赞数
文章标签： spark
原文链接：https://blog.csdn.net/qq_39141486/article/details/98036867
版权

在这里插入图片描述

/opt/cdh5.7.6/hadoop-2.6.0-cdh5.7.6/etc/hadoop
在我的这个目录下配置过hive的配置文件，所以Spark认为是要和Hive集成
(之前使用Sqoop时配置过这个,Spark和hive之间有天然的集成关系，Spark的前身就是在Hive的基础上改出来的)
在这里插入图片描述
解决报错的办法有两个：
  方法一：启动MetaStore进程
  方法二：将这个软连接删除

Spark默认是从HDFS上读取数据的，所以如果HDFS的两个进程没开也会报错

Iamarookie999
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
winutils.exe：解决hadoop在windows运行出现的bug
12-07
如果出现如下bug：“Could not locate executable null\bin\winutils.exe in the Hadoop binaries”，则下载该文件，放入hadoop的bin文件夹下，并设置环境变量HADOOP_HOME：F:\hadoop2.7.x即可。
启动GremlinServer服务时报异常：IllegalArgumentException: Vertex Label with given name does not exist: user
01-07
启动gremlin – server服务时报如下异常： 34180 [main] WARN org.janusgraph.graphdb.database.idassigner.placement.PartitionIDRange - Individual key range is too small for partition block - result would ...
spark整合hive后spark-sql启动报错
天龙八部
12-14 2381
通过spark-sql 来访问hive的元数据，hive元数据信息存储在mysql但是启动的时候是报如下的错误，检查过配置,metastore已经配置，并且启动，用hive启动可以正常使用，但是spark-sql不行，报错信息 Hive: Failed to access metastore. This class should not accessed in runtime. org.apac...
实践数据湖iceberg 第二十三课 flink-sql从checkpoint重启
spark_dev的博客
02-23 4312
成功测试flink-sql以非jar包的方式从checkpoint重启，完成故障恢复测试 实践数据湖icerberg专栏 本专栏记录iceberg菜鸟到专家的过程，记录踩坑，填坑，iceberg特征的了解与原理的认知
hive: metastore 无法启动（本地模式 Mysql）
qq_31806205的博客
02-07 2099
hive: metastore 无法启动
Hadoop基础教程-第12章 Hive：进阶（12.4 Hive Metastore）（草稿）
程裕强的专栏
08-27 879
第12章 Hive：进阶12.4 Hive Metastore12.4.1 三种配置方式Hive Metastore有三种配置方式，分别是：Embedded Metastore Database (Derby) 内嵌模式 Local Metastore Server 本地元存储 Remote Metastore Server 远程元存储12.4.2 Metastore作用metadata即元数据
hive 和 mysql 的安装 metastor 配置
HotSunMoon的专栏
08-04 713
1.解压hive tar -zxvf  apache-hive-0.13.1-bin.tar.gz -C /opt/modules/ 2.hive conf 配置 hadoop 信息 hive-env.sh 文件 HADOOP_HOME=/opt/modules/hadoop-2.5.0 export HIVE_CONF_DIR=/opt/modules/hive-0.13.1/
WARN HiveConf: HiveConf of name hive.metastore.local does not exist注意事项
微电子学与固体电子学-俞驰
07-22 6822
WARN HiveConf: HiveConf of name hive.metastore.local does not exist 解决方案是： <property>  <name>hive.metastore.local</name>   <value>false</value>   <description>...
hive.log日志摘录
最新发布
weixin_39876938的博客
09-01 263
[hadoop@scnnode01 ~]$ tail -f /tmp/hadoop/hive.log 2023-09-01T20:15:37,050 INFO [main] conf.HiveConf: Found configuration file file:/home/hadoop/apache-hive-2.3.6-bin/conf/hive-site.xml 2023-09-01T20:15:37,401 WARN [main] conf.HiveConf: HiveConf of name
spark map 算子测试代码
m0_50641264的博客
02-01 1107
spark map 算子测试代码 [root@node1 bin]# ./pyspark Python 3.8.8 (default, Apr 13 2021, 19:58:26) [GCC 7.3.0] :: Anaconda, Inc. on linux Type "help", "copyright", "credits" or "license" for more information. ll 22/02/01 11:50:45 WARN NativeCodeLoader: Unable to
大数据应用之 --- SparkSQL和 Hive的集成
qq_41187116的博客
07-16 682
大数据应用之 --- SparkSQL和 Hive的集成
Hadoop 启动WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using
01-09
搭建hadoop 环境时遇到启动异常告警问题 “WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable” 上来不多说，百度收集些相关...
Spark运行时遇到的错误 scheduler.TaskSchedulerImpl: Initial job has not accepted any resources
01-07
scheduler.TaskSchedulerImpl: Initial job has not accepted any resources; check your clus ter UI to ensure that workers are registered and have sufficient resources 调度器：初始化Job时没有足够的资源，...
Hive metastor HA配置
dymkkj的专栏
05-27 363
前言 为应对生成环境hive服务可用性，需要对hive metastore服务进行backup,则其中一个metastore无法进行对外服务，backup及时转正，对发送请求进行处理 图解 单点故障 HA 架构 HA 配置 依赖服务 hdfs,zookeeper,hive 参数配置 hive-site.xml配置： <!-- 配置多个metastore服务，逗号分隔 --> <property> <name>hive.metastore.uri
Hive安装出现的错误
weixin_39345735的博客
03-22 583
学习hive过程中，安装完成后第一次启动有如下错误：1、WARN conf.HiveConf: HiveConf of name hive.metastore.local does not exist原因： 0.11或者之后的HIVE版本 hive.metastore.local 属性不再使用。而我安装的版本是1.2.1的，难怪会警告了。解决方法：在hive-site.xml中删除这一项就好了&l...
hive 操作（二）——使用 mysql 作为 hive 的metastore
03-11 3376
Hive 操作（一） hive 默认使用 derby 作为映射表（SQL 操作映射为MapReduce Job，将SQL中创建的表映射为 hdfs 的文件/文件夹，字段映射为其中的行），但 derby 的一大缺陷在于它不允许多个客户端同时执行sql操作（可能新版本的hive会有所升级）。我们又知hive的metastore，除了derby，还可存放于 mysql 中；CentOS mysql 的安装
Hive问题：HiveConf of name hive.metastore.local does not exist
jiaofengaoxue的博客
01-04 6613
当执行Hive客户端时候出现如下错误：        WARN conf.HiveConf: HiveConf of name hive.metastore.local does not exist 这是由于在0.10 0.11或者之后的HIVE版本 hive.metastore.local 属性不再使用。将该参数从hive-site.xml删除即可。
hive 常见问题汇总
cxy1991xm的博客
06-29 1212
1、hive的HiveMetaStore或者HiveServer2服务进程正常，但却不能提供相应服务 原因：堆内存不足 解决方案：在hive-env.sh中调整堆内存大小
hive和spark远程连接报错WARN metastore.ObjectStore: Failed to get database global_temp, returning NoSuchObjectException
05-28
这个报错的原因可能是你在 Hive 中使用了 Spark Thrift Server，而且使用的 Hive 版本和 Spark 版本不兼容。 你可以尝试升级 Hive 和 Spark 的版本，或者在 Spark Thrift Server 中使用 Hive 的 JDBC 驱动程序连接 ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值