sqoop从mysql导入到hive报错

最新推荐文章于 2023-09-27 11:03:34 发布
最新推荐文章于 2023-09-27 11:03:34 发布
阅读量400 收藏
点赞数
分类专栏： 问题整理 文章标签： sqoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44478494/article/details/94899985
版权
在尝试使用sqoop从MySQL导入数据到Hive时遇到错误，具体表现为HiveConfig加载HiveConf失败，由于ClassNotFoundException。尽管HDFS文件上传成功，但发现hive.env.sh中的配置正确。问题根源在于缺失了必要的jar包。为解决此问题，需要将Hive lib目录下的相关jar包复制到sqoop的类路径中。
摘要由CSDN通过智能技术生成 
19/07/07 04:33:06 INFO mapreduce.ImportJobBase: Transferred 32 bytes in 48.8243 seconds (0.6554 bytes/sec)
19/07/07 04:33:06 INFO mapreduce.ImportJobBase: Retrieved 2 records.
19/07/07 04:33:06 INFO mapreduce.ImportJobBase: Publishing Hive/Hcat import job data to Listeners for table staff
19/07/07 04:33:06 INFO manager.SqlManager: Executing SQL statement: SELECT t.* FROM `staff` AS t LIMIT 1
19/07/07 04:33:06 INFO hive.HiveImport: Loading uploaded data into Hive
19/07/07 04:33:06 ERROR hive.HiveConfig: Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly.
19/07/07 04:33:06 ERROR tool.ImportTool: Import failed: java.io.IOException: java.lang.ClassNotFoundException: org.apache.hadoop.hive.conf.HiveConf
	at org.apache.sqoop.hive.HiveConfig.getHiveConf(HiveConfig.java:50)
	at org.apache.sqoop.hive.HiveImport.getHiveArgs(HiveImport.java:392)
	at org.apache.sqoop.hive.HiveImport.executeExternalHiveScript(HiveImport.java:379)
	at org
最低0.47元/天 解锁文章
博客写的好晚上睡得早
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【Hive】解决sqoop从mysql数据库导入数据到hive报错Hive exited with status 64
Badme
06-15 1043
【Hive】解决sqoop从mysql数据库导入数据到hive报错Hive exited with status 64
sqoop将mysql数据导入hive时常见报错报错解决方案
qq_42668255的博客
08-31 1069
一、导入命令： sqoop import --connect jdbc:mysql://172.20.5.117:3306/userinfo --username root --password gzp --table userinfo --target-dir /test2 --hive-import --hive-table userinfo 二、报错一：ERROR tool.Imp...
利用sqoop从Mysql中导入数据到Hive中某种错误的解决办法
u013771764的博客
04-03 507
Problem： 如果你利用Sqoop从Mysql中导入数据到Hive中，各种hive配置的配置都没有问题，但是一直报如下的错误 ERROR hive.HiveConfig: Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly. Solution： 可以尝...
sqoop mysql导入hive报错_使用sqoop从mysql导入数据到hive
weixin_39866881的博客
01-20 787
前言这篇文章主要是用sqoop从mysql导入数据到hive时遇到的坑的总结。环境：系统：Centos 6.5Hadoop：Apache，2.7.3Mysql：5.1.73JDK：1.8Sqoop：1.4.7Hadoop以伪分布式模式运行。一、使用的导入命令参照里面的方法，在mysql建了表，填充了数据，然后按照自己的情况输入了命令：sqoop import --connect jdbc:mysq...
使用sqoop导入数据到hive问题总结
最新发布
09-27 384
解决过程：网上搜索很多的原因都说是因为mapreduce内存或者是datanode内存不足，各种配置都没解决，最后检查hive建表语句发现字段对不上，还是太粗心。原因：hive表字段指定了分区，但导入的时候没有指定分区。解决：修改hive表字段或者指定分区。原因：mysql驱动包搞错了。解决：更换mysql驱动包。
sqoop导入数据进hive中遇到问题的解决办法
轻言少语的博客
07-21 747
因为我是在导入成功后才写的文章，所以问题就不一一赘述了，直接解决方案。 我原版本信息：hive-2.3.6 hadooop2.7 sqoop-1.4.7 在网上找了很多方法，没有解决问题，没有导入数据成功，我就换了下hive版本 现版本信息： hive-1.2.1 hadooop2.7 sqoop-1.4.7 解决办法（依次执行）： 1. [root@hadoop01 ~]# cp /usr/local/hive1.2.1/lib/hive-common-1.2.1.jar /usr/
Sqoop 导入 Hive 报错信息
weixin_30241919的博客
11-13 422
最近 在搭建 简易的 大数据 伪分布式环境（hadoop2.8+hive2.2+hbase1.2+sqoop1.4.6） 在 由sqoop 导数mysql数据到hive 时候发生以下错误：执行 命令目录为 $sqoop_home/bin hive 的 metadata库 使用的是 mysql（初始化完全正常，可在 hive命令行建表，可用SQuirreL SQL Client 3.7正...
sqoop mysql导入hive_使用sqoop从mysql向hive导入数据报错
weixin_39809793的博客
01-19 577
使用sqoop从mysql向hive导数据时出现出错：Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaStoreClient[grid@rhel0 ~]$ sqoop import --connect jdbc:mysql://192.168.122.100:3306/sqoop --username sqoop -P ...
[sqoop篇]将MySQL库表中的数据导入到hive中报错hive.表名 already exists
alone554的博客
09-02 1304
一、执行语句 二、报错内容 三、报错原因 hive.defaults. ods_test_stu表已经存在，所以我不能继续在hive中创建ods_test_stu表 四、解决方案 方法1.修改导入进hive中的表名 ，既将执行语句中的参数--hive-table ods_test_stu中的ods_test_stu改了(例如此处我将表名改为ods-test_student) 方法2.删除之前主节点导入hive中的表,也就是hive里的ods_test_stu表
SQOOP导入数据导致DB2行顺序与HIVE中不同,问题分析
chenwei945的博客
07-18 1282
最近项目中遇到了使用SQOOP数据迁移时，HIVE中数据的行顺序与DB2中行顺序不同，百思不得其解（使用--table模式）直接看SQOOP代码。 进入源码发现了Sqoop的import代码都在org.apache.sqoop.tool.importTool.java下. 实际执行importTable的代码如下.  protected boolean importTable(Sqoop...
【Sqoop】Sqoop的使用(连接MySQL、Hive)
热门推荐
HR的博客
03-18 1万+
Sqoop的使用 使用sqoop前需要启动Hadoop，检查Hadoop的运行状态，我们这里使用的是伪分布式 [root@hr conf]# jps 1538 DataNode 2114 NodeManager 1689 SecondaryNameNode 1834 ResourceManager 1421 NameNode 2831 Jps Sqoop连接MySQL需要MySQL的jar包，吧jar包放置Sqoop的lib目录下 先测试Sqoop能否连接MySQL查看存在的数据库 sqoop list-
大数据教程（13.6）sqoop使用教程
weixin_34162695的博客
03-18 555
2019独角兽企业重金招聘Python工程师标准>>> ...
使用sqoop将mysql中的数据导入Hive时报错
YouMe的博客
09-13 984
1.使用sqoop在hive中创建一个和mysql中数据结构一样的表时报错  ERROR manager.SqlManager: Error reading from database: java.sql.SQLException: Streaming result set com.mysql.jdbc.RowDataDynamic@6302bbb1 is still active. No st...
sqoop 从mysql导入数据到hive报错
weixin_34232744的博客
01-13 275
2019独角兽企业重金招聘Python工程师标准>>> ...
Sqoop导入MySQL数据到Hive遇到的坑
Mark蜀黍
12-26 4055
1.sqoop导入到HDFS 1.1执行sqoop job，会自动更新last value # sqoop 增量导入脚本 bin/sqoop job --create sqoop_hdfs_test02 -- import \ --connect jdbc:mysql://localhost:3306/pactera_test \ --username root \ --password 1...
已解决：sqoop mysql导入hive报错
lyw5200的博客
05-30 733
报错内容：ERROR hive.HiveConfig: Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly.
sqoop 从 mysql 导入到 hive 指定条件怎么写
06-08
要使用 Sqoop 从 MySQL 导入到 Hive 并指定条件，可以使用以下命令： ``` sqoop import \ --connect jdbc:mysql://mysql_server:port/sqoop_export \ --username <username> \ --password <password> \ --table <table_name> \ --hive-import \ --hive-table <hive_table_name> \ --where "<condition>" ``` 其中，`<condition>` 是你要指定的条件，例如： ``` --where "age > 18" ``` 这将只导入 `age` 大于 18 的数据行。请注意，条件必须用双引号括起来。 另外，还要注意以下几点： 1. 如果你要将整个表导入到 Hive，可以省略 `--where` 参数。 2. 如果你的 MySQL 表中有日期或时间类型的列，需要在命令中添加 `--map-column-hive <column_name>=timestamp` 参数来指定将其映射为 Hive 的时间戳类型。例如，对于名为 `create_time` 的时间列，可以添加 `--map-column-hive create_time=timestamp`。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值