14、使用Sqoop从mysql导入数据到hive报错:Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF...

最新推荐文章于 2022-09-02 16:57:00 发布
最新推荐文章于 2022-09-02 16:57:00 发布
阅读量358 收藏 1
点赞数
文章标签： hive sqoop 大数据 hadoop mysql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Norni/article/details/120735842
版权

  • 问题描述

    使用Sqoop从mysql导入数据到hive报错:Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly

  • 分析

    对于HiveConf.class类是存在的

  • 措施

    修改$SQOOP_HOME/conf/sqoop-env.sh

    # 添加以下内容
export HADOOP_CLASSPATH=/opt/software/hadoop-3.1.3/lib/*:/opt/software/hive-3.1.2/lib/*

  • 结果

Norni
关注
sqoop mysql导入hive报错_使用sqoop从mysql导入数据到hive
weixin_39866881的博客
01-20 831
前言这篇文章主要是用sqoop从mysql导入数据到hive时遇到的坑的总结。环境：系统：Centos 6.5Hadoop：Apache，2.7.3Mysql：5.1.73JDK：1.8Sqoop：1.4.7Hadoop以伪分布式模式运行。一、使用的导入命令参照里面的方法，在mysql建了表，填充了数据，然后按照自己的情况输入了命令：sqoop import --connect jdbc:mysq...
Sqoop RDBMS到Hive报错：Could not load org.apache.hadoop.hive.conf.HiveConf的解决方法
dh12313012的博客
02-28 690
Sqoop从RDBMS导入数据到Hive表报错“Could not load org.apache.hadoop.hive.conf.HiveConf”解决方法： 1、mysql导入到hive [donghao@hadoop132 sqoop-1.4.7]$ bin/sqoop import \ --connect jdbc:mysql://hadoop132:3306/company \ --u...
[sqoop篇]将MySQL库表中的数据导入到hive中报错hive.表名 already exists
alone554的博客
09-02 1332
一、执行语句 二、报错内容 三、报错原因 hive.defaults. ods_test_stu表已经存在，所以我不能继续在hive中创建ods_test_stu表 四、解决方案 方法1.修改导入进hive中的表名 ，既将执行语句中的参数--hive-table ods_test_stu中的ods_test_stu改了(例如此处我将表名改为ods-test_student) 方法2.删除之前主节点导入hive中的表,也就是hive里的ods_test_stu表
Sqoop进行导入数据到Hive时报错：ERRORtool.ImportTool:Importfailed:java.io.IOException:java.lang.ClassNotFoundExc
qq_45263520的博客
04-30 2658
在使用Sqoop进行MySQL数据导入到Hive的过程中出现一下错误提示。ERRORtool.ImportTool:Importfailed:java.io.IOException:java.lang.ClassNotFoundExceptionorg.apache.hadoop.hive.conf.HiveConf
sqoop导入mysql数据到hive中报错
wangtao6791842的专栏
11-12 4969
 ERROR manager.SqlManager: Error reading from database: java.sql.SQLException: Streaming result set com.mysql.jdbc.RowDataDynamic@6c4fc156 is still active. No statements may be issued when any str
sqoop将oracle数据导入到hive报错：Error: java.io.IOException: SQLException in nextKeyValue
GentleCAT_1的博客
06-10 1148
sqoop将oracle数据导入到hive报错：Error: java.io.IOException: SQLException in nextKeyValue1、字段属性不匹配
ERROR hive.HiveConfig: Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR
qq_44982182的博客
07-19 494
sqoop 从mysql导出数据到hive，出现下面错误： 19/07/19 09:27:54 INFO hive.HiveImport: Loading uploaded data into Hive 19/07/19 09:27:54 ERROR hive.HiveConfig: Could not load org.apache.hadoop.hive.conf.HiveConf. Make...
sqoop导入hive表报错解决Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is ..
weixin_43943841的博客
12-06 572
sqoop导入hive表，如报以下的错误 19/12/06 00:09:41 ERROR hive.HiveConfig: Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly. 19/12/06 00:09:41 ERROR tool.ImportTool: Im...
Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly.
火麒马
07-11 1999
20/07/10 21:51:48 ERROR hive.HiveConfig: Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly. 20/07/10 21:51:48 ERROR tool.ImportTool: Import failed: java.io.IOException: java.lang.ClassNotFoundException: org.apach
sqoop：【error】mysql导出数据到hive报错HiveConfig:无法加载org.apache.hadoop.hive.conf.HiveConf。确保HIVE_CONF_DIR设置正确
drl_blogs的博客
06-05 1130
19/06/05 10:03:38 ERROR hive.HiveConfig: Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly. 19/06/05 10:03:38 ERROR tool.CreateHiveTableTool: Encountered IO...
sqoop导入数据到hive中，数据不一致
05-04
NULL 博文链接：https://kingding.iteye.com/blog/2435018
sqoop导入hive报错Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is ..
zhangjunli的博客
12-02 305
sqoop导入hive表，如报以下的错误 19/12/06 00:09:41 ERROR hive.HiveConfig: Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly. 19/12/06 00:09:41 ERROR tool.ImportTool: Import failed: java.io.IOException: java.lang.ClassNotFo
sqoop 报 Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR 解决方法
anaitudou的专栏
07-11 2108
Sqoop导入mysql表中的数据到hive，出现如下错误：  ERROR hive.HiveConfig: Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly.方法1： 解决方法：往/etc/profile最后加入 export HADOOP_CLASSPATH...
【Sqoop】将mysq的数据导入hive数仓报错
可乐大牛的博客
02-14 235
错误操作 bin/sqoop import \ --connect jdbc:mysql://ip:3306/demo \ --username 账号 \ --password 密码 \ --table order \ --num-mappers 1 \ --hive-import \ --fields-terminated-by "\t" \ --hive-overwrite \ --hive-table ods_order 错误详情 The connection property ‘zeroDateT
sqoop mysql导入hive报错_使用sqoop从mysql导入数据到Hive报错
weixin_32946431的博客
01-20 458
第一阶段的到HDFS的阶段没问题，MR作业也能正常完成，但是第二阶段Loading uploaded data into Hive的过程出错了。错误的日志如下：15/10/23 14:34:18 INFO mapreduce.ImportJobBase: Transferred 30 bytes in 31.2422 seconds (0.9602 bytes/sec)15/10/23 14:3...
sqoop从mysql向hive增量导入数据错误汇总
m0_59887059的博客
04-07 2193
首先要理解增量的概念，每天更新的数据才需要被添加到hive中，如果全部数据都要导入，会造成冗余 1 向hive导入时报错ClassNotFound hive.metastore.jar 发生这种情况时，sqoop的lib的无法找到hive的jar包 可能是hive3.0版本以上无法兼容sqoop，重新下载了hive2.0版本的，更改sqoop的配置参数，就可以正常使用了 2 hive的表格存储格式为parquet格式，使用sqoop导入数据时可能会不兼容，报数据类型的异常 需要将hive的表格存储
使用sqoop将mysql中的数据导入hive中错误
yds599089646的博客
12-23 150
报错： Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly. 原因：缺失hive的连接jar包 解决方法： 去hive的lib目录中将hive-common-XXX.jar 复制到sqoop中的lib目录中
MySQL导入hive失败_sqoop导数据到hive失败
weixin_34061587的博客
02-02 993
[hadoop@cloud1 conf]$ sqoop import --connect "jdbc:mysql://localhost:3306/comment" --target-dir "/user/hive/tmp1" --username "comment_usr" --password "comment" --query "select s--split-by "sku_id" --h...
sqoop导入数据进hive中遇到问题的解决办法
轻言少语的博客
07-21 775
因为我是在导入成功后才写的文章，所以问题就不一一赘述了，直接解决方案。 我原版本信息：hive-2.3.6 hadooop2.7 sqoop-1.4.7 在网上找了很多方法，没有解决问题，没有导入数据成功，我就换了下hive版本 现版本信息： hive-1.2.1 hadooop2.7 sqoop-1.4.7 解决办法（依次执行）： 1. [root@hadoop01 ~]# cp /usr/local/hive1.2.1/lib/hive-common-1.2.1.jar /usr/
[root@zhaosai conf]# sqoop import --connect jdbc:mysql://zhaosai:3306/mydb --username root --password jqe6b6 --table news --target-dir /user/news --fields-terminated-by “;” --hive-import --hive-table news -m 1 Warning: /opt/programs/sqoop-1.4.7.bin__hadoop-2.6.0/../hbase does not exist! HBase imports will fail. Please set $HBASE_HOME to the root of your HBase installation. Warning: /opt/programs/sqoop-1.4.7.bin__hadoop-2.6.0/../hcatalog does not exist! HCatalog jobs will fail. Please set $HCAT_HOME to the root of your HCatalog installation. Warning: /opt/programs/sqoop-1.4.7.bin__hadoop-2.6.0/../accumulo does not exist! Accumulo imports will fail. Please set $ACCUMULO_HOME to the root of your Accumulo installation. Warning: /opt/programs/sqoop-1.4.7.bin__hadoop-2.6.0/../zookeeper does not exist! Accumulo imports will fail. Please set $ZOOKEEPER_HOME to the root of your Zookeeper installation. 23/06/10 16:07:14 INFO sqoop.Sqoop: Running Sqoop version: 1.4.7 23/06/10 16:07:15 WARN tool.BaseSqoopTool: Setting your password on the command-line is insecure. Consider using -P instead. 23/06/10 16:07:15 INFO manager.MySQLManager: Preparing to use a MySQL streaming resultset. 23/06/10 16:07:15 INFO tool.CodeGenTool: Beginning code generation 23/06/10 16:07:15 ERROR sqoop.Sqoop: Got exception running Sqoop: java.lang.RuntimeException: Could not load db driver class: com.mysql.jdbc.Driver java.lang.RuntimeException: Could not load db driver class: com.mysql.jdbc.Driver at org.apache.sqoop.manager.SqlManager.makeConnection(SqlManager.java:875) at org.apache.sqoop.manager.GenericJdbcManager.getConnection(GenericJdbcManager.java:59) at org.apache.sqoop.manager.SqlManager.execute(SqlManager.java:763) at org.apache.sqoop.manager.SqlManager.execute(SqlManager.java:786) at org.apache.sqoop.manager.SqlManager.getColumnInfoForRawQuery(SqlManager.java:289) at org.apache.sqoop.manager.SqlManager.getColumnTypesForRawQuery(SqlManager.java:260) at org.apache.sqoop.manager.SqlManager.getColumnTypes(SqlManager.java:246) at org.apache.sqoop.manager.ConnManager.getColumnTypes(ConnManager.java:327) at org.apache.sqoop.orm.ClassWriter.getColumnTypes(ClassWriter.java:1872) at org.apache.sqoop.orm.ClassWriter.generate(ClassWriter.java:1671) at org.apache.sqoop.tool.CodeGenTool.generateORM(CodeGenTool.java:106) at org.apache.sqoop.tool.ImportTool.importTable(ImportTool.java:501) at org.apache.sqoop.tool.ImportTool.run(ImportTool.java:628) at org.apache.sqoop.Sqoop.run(Sqoop.java:147) at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70) at org.apache.sqoop.Sqoop.runSqoop(Sqoop.java:183) at org.apache.sqoop.Sqoop.runTool(Sqoop.java:234) at org.apache.sqoop.Sqoop.runTool(Sqoop.java:243) at org.apache.sqoop.Sqoop.main(Sqoop.java:252)
最新发布
06-11
这段代码是使用 Sqoop 工具将 MySQL 数据库中的 news 表导入到 Hadoop 的 HDFS 中，并且使用 Hive 表示，并且在导入过程中使用了分隔符“;”。但是在执行过程中出现了一个异常，提示无法加载数据库驱动类 ...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值