sqoop报Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient

最新推荐文章于 2024-04-11 16:00:50 发布
最新推荐文章于 2024-04-11 16:00:50 发布
阅读量678 收藏
点赞数 1
分类专栏： 笔记 文章标签： hive hadoop apache
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_52691614/article/details/121721811
版权

报错：

在执行 sqoop --options-file profileconf2时报

Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
Exception in thread “main” java.lang.RuntimeException: org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
java.lang.reflect.InvocationTargetException

解决方法：

如果确定单独启动hive执行SQL命令没有任何问题的话，并且成功启动了hbase,那么原因就是sqoop和hive不在同一台虚拟机上，把安装有sqoop虚拟机上的sqoop的目录同步拷贝到安装hive的虚拟机上，再配置一下环境变量，再重新执行sqoop --options-file profileconf2就可以成功了。

scp -r /usr/sqoop root@slave1:/usr/
铃音.
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
【Hive】解决sqoop从mysql数据库导入数据到hive报错Hive exited with status 64
Badme
06-15 1007
【Hive】解决sqoop从mysql数据库导入数据到hive报错Hive exited with status 64
SQOOP学习笔记-报错怎么办？打就完了！
程序员_乐乐的博客
10-23 1670
SQOOP学习笔记-报错怎么办？打就完了！遇到的问题解决 遇到的问题 命令： sqoop export –connect jdbc:mysql://172.16.1.8:3306/metastore –username root –password password123 –table try_2 –num-mapper 1 –export-dir /user/hive/warehou...
Sqoop Hive Caused by: MetaException(message:Version information not found in metastore.)
m0_68415041的博客
02-19 529
Sqoop Hive Caused by: MetaException(message:Version information not found in metastore.)
最简单方法解决启动hive时报错：Exception in thread “main“ java.lang.RuntimeException: org.apache.hadoop.hdfs.serve
最新发布
麦当当的博客
04-11 1474
相信很多人和我一样在启动完集群之后，通过“lsof -i:10000”检测是否启动成功时会遇到如下图这种情况：等待许久依旧无法启动成功，从而DataGrip无法连接数据库。经过回头检验发现在启动metastore后，hive检验时报错如下图：很容易我们可以关注到：这是因为我们在某次关闭虚拟机时，hadoop没正常关闭，系统自动启动了保护模式！
Hive Metastore源码新增Thrift API方法
书忆江南的IT博客
08-02 2724
如果工作中使用了m1芯片Mac，则protobuf等底层通信和序列化相关的老版本jar包没有提供osx_aarch64版本（例如hive3依赖的2.5.0版本），本地编译无法通过，需要利用到Linux上的thrift命令行来对hive源码进行编译和自动代码生成。同时还有.cpp、.php等其他语言文件的改动和生成，如果不需要实现其他语言的接口，可以把除.java以外的文件改动都撤回（例如使用。从rpc通信的client和server端角度，目前完善的是server端的代码，如果。...
hadoop环境下配置hive及sqoop
个人学习笔记库，一篇一篇记录成长的足迹
08-19 827
Hive是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。sqoop的作用就是将关系型数据库中的某张表数据到Hadoop的hdfs文件系统当中，底层运用的还是Map Reduce 。它利用MapReduce加快数据传输速度，批处理方式进行数据传输。也可以将HDFS上的文件数据或者是Hive表中的数据导出到关系型数据库中的某张表。
sqoop-1.4.7.jar
01-27
解决错误：Could not find or load main class org.apache.sqoop.Sqoop。把这个sqoop-1.4.7.jar放到sqoop根目录下的lib目录中，即可。 如果你没有积分，也可以自己去这个地址下载：...
sqoop-1.4.6.bin__hadoop-2.0.4-alpha.zip
09-22
Sqoop 是一个开源工具，主要用于在关系型数据库（如MySQL、Oracle等）和Apache Hadoop之间进行数据导入导出。这个压缩包 "sqoop-1.4.6.bin__hadoop-2.0.4-alpha.zip" 包含的是Sqoop 1.4.6版本，针对Hadoop 2.0.4-...
sqoop-1.4.6.2.3.99.0-195.jar
05-21
基于atlas2.0.0编译，需要而很难找到有效地址下载不到的jar包 sqoop-1.4.6.2.3.99.0-195.jar
Atlas2.3.0依赖： org.restlet/sqoop-1.4.6.2.3.99.0-195
02-19
在IT行业中，我们经常涉及到各种库和框架的集成与使用，这次我们关注的是"Atlas2.3.0"依赖的组件："org.restlet/sqoop-1.4.6.2.3.99.0-195"。这个依赖包含了三个关键的JAR文件：`sqoop-1.4.6.2.3.99.0-195.jar`，`...
sqoop-1.4.2.bin__hadoop-2.0.0-alpha.tar
07-30
Sqoop 是 Apache Hadoop 生态系统中的一个工具，主要用于在关系型数据库（如 MySQL、Oracle 等）和 Hadoop 分布式文件系统（HDFS）之间高效地传输数据。这个压缩包 "sqoop-1.4.2.bin__hadoop-2.0.0-alpha.tar" 提供...
Hive报错Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient解决方案
热门推荐
cucgyfjklx的博客
04-09 1万+
Hive报错Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient解决方案
大数据可视化——Sqoop与Hive的安装详解
缘昔的博客
11-03 857
点这里=>本次Sqoop使用的是1.4.2的版本下载sqoop-xxx.bin__hadoop.tar.gz 版本自选。
hive创建数据库报错：Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
打工日常
07-26 1382
macbook 本地启动hive，创建数据库： create database hive_1; 报错： FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient 解决办法：启动.
解决Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
想练武，就得下功夫
05-23 7037
老大让启动一下hive，结果报错了，想办法解决，经过不懈努力，终于搞定了 hive> show databases; FAILED: HiveException java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient hive> 出现这个问题的原因： 在 hive-site.xml文件中配置了三个参数所引起的 hive.tx
Spark SQL连接Hive失败 org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
CJ_codingfish的博客
10-27 1030
我的需求 使用Spark连接Hive，访问Hive表 语法是Spark SQL 上代码 ConnectHiveDemo.scala /** * 本地虚拟机的地址是：10.211.55.101； * 需要根据自己的IP地址修改；9083是Hive的访问端口 * 我的Hive表是t_data */ object ConnectHiveDemo { def main(args: Array[String]): Unit = { //1.创建对象 val spark: Spa..
sqoop将mysql数据导入hive时因缺少jar包报的一些错误以及解决方法
追梦人的博客
10-29 1755
错误一：缺少log4j相关jar包导致的错误 21/10/28 17:32:27 ERROR tool.ImportTool: Import failed: java.io.IOException: Exception thrown in Hive at org.apache.sqoop.hive.HiveImport.executeScript(HiveImport.java:358) at org.apache.sqoop.hive.HiveImport.importTable(HiveImport
Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
weixin_30716141的博客
08-28 210
一句话总结：连不上Hive的元数据库（Meta Store）所致。需要查看hive.log确定问题原因。我的问题是HADOOP_CONF_DIR下的hive-site.xml中元数据库地址配置错误所致。因为Hive会默认先读取HADOOP_CONF_DIR下的hive-site.xml而非自身conf目录下的hive-site.xml。 解决过程： 从别的机器上复制了hive和hadoop过来...
解决Hive运行hql提示Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
stable_zl的博客
12-12 8101
遇到的问题 Hive在运行show databases时，报了如下错误： Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient 直接把错误原因复制到百度和google搜出来的解决方案都没有解决问题，后来查看hive日志，发现真实错误其实是： Caused by: org.apache....
sqoop import org.apache.hadoop.hive.metast
12-31
Sqoop 是一个开源的数据导入和导出工具，可以将关系数据库中的数据导入到Hadoop生态系统中的各种数据存储系统中。 import 是 Sqoop 的一个命令，用于将数据从关系数据库中导入到 Hadoop 的分布式文件系统中。在这个命令的后面可以指定导入的数据表、数据存储位置等参数。 org.apache.hadoop.hive.metastore 是 Hive 的元数据存储组件，用于管理和存储 Hive 的元数据信息。当我们使用 Sqoop 导入数据时，如果想要将数据导入到 Hive 中进行进一步的数据处理和分析，可以使用 org.apache.hadoop.hive.metastore 来指定导入数据时的元数据存储。 通过指定 org.apache.hadoop.hive.metastore 参数，Sqoop 导入数据时会自动将导入的数据表的元数据信息存储到 Hive 的元数据存储组件中，这样，在使用 Hive 进行数据处理和查询时，就可以方便地使用这些导入的数据。同时，Hive 还可以使用 Sqoop 导入的元数据信息来对导入的数据表进行分区、索引等操作，实现更高效的数据访问。 总之，org.apache.hadoop.hive.metastore 是 Sqoop 导入数据时的一个参数，用于指定导入的数据的元数据存储位置。通过将数据导入到 Hive 中，可以方便地使用 Hive 进行数据处理和查询，并且可以利用 Hive 的分区、索引等功能来优化数据访问性能。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

铃音.

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值