sqoop：【error】mysql导出数据到hive报错HiveConfig:无法加载org.apache.hadoop.hive.conf.HiveConf。确保HIVE_CONF_DIR设置正确

最新推荐文章于 2023-07-04 15:15:26 发布
VIP文章 最新推荐文章于 2023-07-04 15:15:26 发布
阅读量1k 收藏
点赞数 2
分类专栏： # Sqoop # Hive # Error
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/drl_blogs/article/details/90898007
版权 
19/06/05 10:03:38 ERROR hive.HiveConfig: Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly.
19/06/05 10:03:38 ERROR tool.CreateHiveTableTool: Encountered IOException running create table job: java.io.IOException: java.lang.ClassNotFoundException: org.apache.hadoop.hive.conf.HiveConf
        at org.apache.sqoop.hive.HiveConfig.getHiveConf(HiveConfig.java:50)
        at org.apache.sqoop.hive.HiveImport.getHiveArgs(HiveImport.java:392)
        at org.apache.sqoop.hive.HiveImport.executeExternalHiveScript(HiveImport.java:379)
        at org.apache.sqoop.hive.HiveImport.executeScript(HiveImport.java:337)
        at org.apache.sqoop.hive.HiveImport.importTable(HiveImport.java:241)
        at org.apache.sqoop.tool.CreateHiveTableTool.run(CreateHiveTableTool.java:57)
        at org.apache.sqoop.Sqoop.run(Sqoop.java:147)
        at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)
        at org.apache.sqoop.Sqoop.runSqoop(Sqoop.jav
最低0.47元/天 解锁文章
drl_blogs
关注
  • 2
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
yinian_hive_increase_sqoop:sqoop从mysql同步数据到hive
04-29
yinian_hive_increase_sqoop sqoop从mysql同步数据到hive
Hive的安装及配置
mo
06-07 4702
集群规划：本虚拟机上有三台机器，主机名分别是hadoop102,103,104. 一：hive的安装部署 1.把apache-hive-1.2.1-bin.tar.gz上传到linux的/opt/software目录下(可根据自己目录来,下同) 2.解压apache-hive-1.2.1-bin.tar.gz到/opt/module/目录下面 tar -zxvf apache-hive-1.2.1-bin.tar.gz -C /opt/module/ 3.在mudule目录下修改apache-hive-1
Sqoop数据导入到Hive中报错org.apache.hadoop.hive.conf.HiveConf
迷茫君的博客
08-15 2923
Sqoop数据导入到hive中报错： 解决方法 方法一： 因为sqoop需要一个hive的包，将hive/lib中的hive-common-2.3.3.jar拷贝到sqoop的lib目录中，重新执行试试。此方法本人认为虽然能解决问题，但是不是最佳合理的解决途径。 方法二： jar包版本不匹配造成的，此方法正在整理，稍后上传。。。...
ERROR hive.HiveConfig: Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR
qq_58476985的博客
05-09 545
在配置环境变量时，自己路径设置可能没有设置。数据库db03中的表的表结构和。之后在重新输入命令即可。
create-hive-table报错之踩坑日记
killerwcy的博客
11-24 938
使用sqoop时报错解决
Encountered IOException running create table job: : org.apache.hadoop.hive.conf.HiveConf
08-09 1158
19/08/09 16:30:16 ERROR hive.HiveConfig: Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly. 19/08/09 16...
Sqoop java.lang.ClassNotFoundException: org.apache.hadoop.hive.conf.HiveConf
大数据流浪法师的学习笔记与分享
03-21 1185
问题描述 [root@hadoop01 profile.d]# sqoop create-hive-table --connect jdbc:mysql://hadoop01:3306/userdb --table emp_add --username root --password 123456 --hive-table test.emp_add_sp Warning: /export/ser...
sqoop报错Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR 的解决方法
Mtf007的博客
05-26 430
检查HIVE_CONF_DIR是否有设置： echo $HIVE_CONF_DIR 如果输出为空。则是没有设置HIVE_CONF_DIR vi ~/.bashrc 加入以下配置 export HIVE_CONF_DIR=$HIVE_HOME/conf 使之生效 source ~/.bashrc 再将hive里面的lib下的hive-exec-**.jar放到sqoop的lib下就可以解决问题 cp ~/hive/lib/hive-exec-2.3.3.jar ~/sqoop/lib ...
报错： Encountered IOException running import job: java.io.IOException: Hive exited with status 1
qq_58476985的博客
05-09 856
则需更换为其他版本，因为。版本后，就能正常运行了。的lib 下 即可。
org.apache.hadoop.hive.con.HiveConf
最新发布
u012581453的专栏
07-04 352
【代码】org.apache.hadoop.hive.con.HiveConf。
大数据保姆级别教程sql.plsql.bi.ketlle.Linux..hadoop.hive.shell.sqoop.数仓
08-28
适合自学大数据，文档详细，涉及到Oracle数据库SQL plsql. ...大数据：hadoop hive shell脚本 大数据搬运工具：sqoop ，ketlle. 调度工具：azkaban， 可视化软件使用：帆软 数据仓库设计理论，数仓建模，三范式等；
hadoop_hive_python_mysql实践完整包.rar
03-05
本实践项目通过一个网站的运营日志，利用hadoop/hive/sqoop/mysql/python等一系列组件联合实践分析挖掘网站运营数据。是不可多得的完整的学习、讲课案例资源。本资源包含ppt、代码、文档及所需数据。
2、sqoop导入（RMDB-mysql、sybase到HDFS-hive）
05-29
2、sqoop导入（RMDB-mysql、sybase到HDFS-hive） 网址：https://blog.csdn.net/chenwewi520feng/article/details/130572275 介绍sqoop从关系型数据库mysql、sybase同步到hdfs、hive中
Hadoop网站日志分析源码（hive命令）.txt
05-09
Hadoop网站日志分析源码（hive命令）.txt
Spark：【error】无法解析重载方法“agg”
drl_blogs的博客
06-29 2758
错误信息：Cannot resolve overloaded method 'agg' 解决方法：导入包 import org.apache.spark.sql.functions._
sqoop:【error】ERROR tool.ImportTool: Import failed: java.io.IOException: Filesystem closed
drl_blogs的博客
06-06 2010
19/06/06 12:04:08 ERROR tool.ImportTool: Import failed: java.io.IOException: Filesystem closed at org.apache.hadoop.hdfs.DFSClient.checkOpen(DFSClient.java:808) at org.apache.hadoop.h...
redis:编译时报错 /bin/sh: cc: command not found
drl_blogs的博客
06-19 1716
[root@hadoop01 redis-3.0.0]# make cd src && make all make[1]: Entering directory `/usr/local/redis-3.0.0/src' rm -rf redis-server redis-sentinel redis-cli redis-benchmark redis-check-dump redi...
【error】SparkUI端口被占用
drl_blogs的博客
07-02 1680
ERROR ui.SparkUI: Failed to bind SparkUI java.net.BindException: Address already in use: bind: Service 'SparkUI' failed after 16 retries (starting from 4040)! Consider explicitly setting the appropri...
Windows运行hadoop报错：org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z
drl_blogs的博客
05-27 1471
报错信息 Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z at org.apache.hadoop.io.nativeio.NativeIO$Windows.access0...
[root@zhaosai conf]# sqoop import --connect jdbc:mysql://zhaosai:3306/mydb --username root --password jqe6b6 --table news --target-dir /user/news --fields-terminated-by “;” --hive-import --hive-table news -m 1 Warning: /opt/programs/sqoop-1.4.7.bin__hadoop-2.6.0/../hbase does not exist! HBase imports will fail. Please set $HBASE_HOME to the root of your HBase installation. Warning: /opt/programs/sqoop-1.4.7.bin__hadoop-2.6.0/../hcatalog does not exist! HCatalog jobs will fail. Please set $HCAT_HOME to the root of your HCatalog installation. Warning: /opt/programs/sqoop-1.4.7.bin__hadoop-2.6.0/../accumulo does not exist! Accumulo imports will fail. Please set $ACCUMULO_HOME to the root of your Accumulo installation. Warning: /opt/programs/sqoop-1.4.7.bin__hadoop-2.6.0/../zookeeper does not exist! Accumulo imports will fail. Please set $ZOOKEEPER_HOME to the root of your Zookeeper installation. 23/06/10 16:07:14 INFO sqoop.Sqoop: Running Sqoop version: 1.4.7 23/06/10 16:07:15 WARN tool.BaseSqoopTool: Setting your password on the command-line is insecure. Consider using -P instead. 23/06/10 16:07:15 INFO manager.MySQLManager: Preparing to use a MySQL streaming resultset. 23/06/10 16:07:15 INFO tool.CodeGenTool: Beginning code generation 23/06/10 16:07:15 ERROR sqoop.Sqoop: Got exception running Sqoop: java.lang.RuntimeException: Could not load db driver class: com.mysql.jdbc.Driver java.lang.RuntimeException: Could not load db driver class: com.mysql.jdbc.Driver at org.apache.sqoop.manager.SqlManager.makeConnection(SqlManager.java:875) at org.apache.sqoop.manager.GenericJdbcManager.getConnection(GenericJdbcManager.java:59) at org.apache.sqoop.manager.SqlManager.execute(SqlManager.java:763) at org.apache.sqoop.manager.SqlManager.execute(SqlManager.java:786) at org.apache.sqoop.manager.SqlManager.getColumnInfoForRawQuery(SqlManager.java:289) at org.apache.sqoop.manager.SqlManager.getColumnTypesForRawQuery(SqlManager.java:260) at org.apache.sqoop.manager.SqlManager.getColumnTypes(SqlManager.java:246) at org.apache.sqoop.manager.ConnManager.getColumnTypes(ConnManager.java:327) at org.apache.sqoop.orm.ClassWriter.getColumnTypes(ClassWriter.java:1872) at org.apache.sqoop.orm.ClassWriter.generate(ClassWriter.java:1671) at org.apache.sqoop.tool.CodeGenTool.generateORM(CodeGenTool.java:106) at org.apache.sqoop.tool.ImportTool.importTable(ImportTool.java:501) at org.apache.sqoop.tool.ImportTool.run(ImportTool.java:628) at org.apache.sqoop.Sqoop.run(Sqoop.java:147) at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70) at org.apache.sqoop.Sqoop.runSqoop(Sqoop.java:183) at org.apache.sqoop.Sqoop.runTool(Sqoop.java:234) at org.apache.sqoop.Sqoop.runTool(Sqoop.java:243) at org.apache.sqoop.Sqoop.main(Sqoop.java:252)
06-11
这段代码是使用 Sqoop 工具将 MySQL 数据库中的 news 表导入到 Hadoop 的 HDFS 中，并且使用 Hive 表示，并且在导入过程中使用了分隔符“;”。但是在执行过程中出现了一个异常，提示无法加载数据库驱动类 ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值