sqoop 从mysql转到hive报错

最新推荐文章于 2022-03-25 16:22:56 发布
最新推荐文章于 2022-03-25 16:22:56 发布
阅读量96 收藏
点赞数
分类专栏： sqoop hive 文章标签： sqoop hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/leezsj/article/details/118896530
版权
hive 同时被 2 个专栏收录
15 篇文章 0 订阅
订阅专栏
sqoop
9 篇文章 0 订阅
订阅专栏

 ERROR hive.HiveConfig: Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly.
21/07/19 14:55:45 ERROR tool.ImportTool: Import failed: java.io.IOException: java.lang.ClassNotFoundException: org.apache.hadoop.hive.conf.HiveConf

 

 echo $HIVE_CONF_DIR

为空表示我没有设置hive的conf路径

 在root目录下设置.bashrc

vi ~/.bashrc

 我修改 了下面这三个配置

 然后保存退出

刷新文件

然后运行成功 

leezsj
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【Hive】解决sqoop从mysql数据库导入数据到hive报错Hive exited with status 64
Badme
06-15 1048
【Hive】解决sqoop从mysql数据库导入数据到hive报错Hive exited with status 64
sqoop将mysql数据导入hive时常见报错报错解决方案
qq_42668255的博客
08-31 1073
一、导入命令： sqoop import --connect jdbc:mysql://172.20.5.117:3306/userinfo --username root --password gzp --table userinfo --target-dir /test2 --hive-import --hive-table userinfo 二、报错一：ERROR tool.Imp...
sqoop：【error】mysql导出数据到hive报错HiveConfig:无法加载org.apache.hadoop.hive.conf.HiveConf。确保HIVE_CONF_DIR设置正确
drl_blogs的博客
06-05 1108
19/06/05 10:03:38 ERROR hive.HiveConfig: Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly. 19/06/05 10:03:38 ERROR tool.CreateHiveTableTool: Encountered IO...
Sqoop数据导入到Hive中报错org.apache.hadoop.hive.conf.HiveConf
迷茫君的博客
08-15 2973
Sqoop数据导入到hive中报错： 解决方法 方法一： 因为sqoop需要一个hive的包，将hive/lib中的hive-common-2.3.3.jar拷贝到sqoop的lib目录中，重新执行试试。此方法本人认为虽然能解决问题，但是不是最佳合理的解决途径。 方法二： jar包版本不匹配造成的，此方法正在整理，稍后上传。。。...
Sqoop -error1- ClassNotFoundException: org.apache.hadoop.hive.conf.HiveConf
99滴神
05-13 853
说明：在使用sqoop工具从mysql将数据导入hive中出现以下错误： 21/05/13 17:39:19 ERROR hive.HiveConfig: Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly. 21/05/13 17:39:19 ERROR tool.ImportTool: Import failed: java.io.IOException: ja.
SQOOP从MySQL导入数据到Hive
UniqueChunBlog
10-22 9804
一、导入Hive表时自动创建表 1、执行sqoop语句sqoop import \ --connect jdbc:mysql://hadoop001:3306/sqoop \ --username root \ --password 123456 \ --table emp_etl \ -m 1 \ --hive-import \ --create-hive-table \ --hive-tab
sqoop建表_Sqoop导入Mysql表结构到Hive（错误）
weixin_39714164的博客
12-20 254
1.建表语句sqoop create-hive-table --connect jdbc:mysql://rm-wz9c7q842s898c2pbo.mysql.rds.aliyuncs.com:3306/bigdata --username username --password password--table mysql_table --hive-database hive_database ...
sqoop从mysql导入到hive报错
博客写的好晚上睡得早
07-06 407
19/07/07 04:33:06 INFO mapreduce.ImportJobBase: Transferred 32 bytes in 48.8243 seconds (0.6554 bytes/sec) 19/07/07 04:33:06 INFO mapreduce.ImportJobBase: Retrieved 2 records. 19/07/07 04:33:06 INFO m...
sqoop从mysql到hive问题
weixin_42119153的博客
09-21 429
ClassNotFoundException问题大概会需要在sqoop的lib目录下导入三个包， hive-common-...jar ，commons-logging-...jar, hive-exec-..*.jar ..*为版本编号，jar包从hive的lib目录下copy即可 1、报错信息如下：ERROR tool.ImportTool: Import failed: java.io...
sqoop mysql导入hive报错_使用sqoop从mysql导入数据到hive
weixin_39866881的博客
01-20 792
前言这篇文章主要是用sqoop从mysql导入数据到hive时遇到的坑的总结。环境：系统：Centos 6.5Hadoop：Apache，2.7.3Mysql：5.1.73JDK：1.8Sqoop：1.4.7Hadoop以伪分布式模式运行。一、使用的导入命令参照里面的方法，在mysql建了表，填充了数据，然后按照自己的情况输入了命令：sqoop import --connect jdbc:mysq...
sqoop mysql导入hive_使用sqoop从mysql向hive导入数据报错
weixin_39809793的博客
01-19 581
使用sqoop从mysql向hive导数据时出现出错：Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaStoreClient[grid@rhel0 ~]$ sqoop import --connect jdbc:mysql://192.168.122.100:3306/sqoop --username sqoop -P ...
【sqoop】使用sqoop将mysql表导入hive报错Output directory already exists
debimeng
10-04 2509
使用sqoop将mysql表导入hive报错Output directory hdfs://hadoop:9820/user/hadoop/${target_dir} already exists 场景： 使用sqoop将mysql表导入hive报错如下： ERROR tool.ImportTool: Import failed: org.apache.hadoop.mapred.FileAlr...
已解决：sqoop mysql导入hive报错
lyw5200的博客
05-30 735
报错内容：ERROR hive.HiveConfig: Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly.
Linux 学习hadoop、spark过程中的问题记录
weixin_44769880的博客
05-22 829
1. 安装教程（分布式、伪分布式） hadoop集群安装部署——参考链接 2. 学习过程的一些记录 tar 压缩、解压缩 压缩 tar -zcvf renwolesshel.tar.gz /renwolesshel 解压缩 tar -zxvf renwolesshel.tar.gz tar命令解压缩——参考链接 3.问题记录 3.1配置阶段 3.1.1 问题：jps发现没有secondary namenode: 查看日志信息 可以看到是因为端口已经被占用了，联想到刚开始配置hdfs-site.
Error: Failed to load class org.apache.spark.sql.hive.thriftserver.SparkSQLCLIDriver
只愿你日后不会觉得遗憾
03-25 5499
项目场景： 项目场景：hive与SparkSQL整合时，出现该报错，严格意义上来说是 使用SparkSQL命令时遇到该报错 问题描述 在使用SparkSQL命令时遇到该报错 java.lang.ClassNotFoundException: org.apache.spark.sql.hive.thriftserver.SparkSQLCLIDriver at java.net.URLClassLoader.findClass(URLClassLoader.java:382) at java.lan
解决sqoop导入hive表失败问题
厚积薄发
01-26 2208
用sqoop从关系型数据库（mysql、oracle）将数据导入hive时，当同时导入多个不同数据库，同名表时，需要指定--target-dir参数，不然会导致任务失败，因为sqoop导入数据时，默认会在hdfs上根据表名创建一个临时目录，这样相同表名在hdfs上的路径就冲突了。 因此这种情况下需要指定临时存放数据目录或路径， 方式一： 指定临时目录， --target-dir dbName_tableName 比如hive用户，当导入数据时会在hdfs上创建/user/hive/dbName_t
href动态传参
Hcy_code的博客
12-06 897
https://blog.csdn.net/muyeju/article/details/48594377?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-3.control&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-3.control
解决Sqoop将mysql表数据导入到Hive时报错HiveConf和derby driver问题
大头皮鞋的博客
11-29 1432
执行sqoop import 语句将mysql表数据导入到Hive表 $ sqoop import --connect jdbc:mysql://localhost:3306/ua1 --username root --password 123 --table EMP --fields-terminated-by '\t' --num-mappers 1 --hive-database d...
MySQL导入hive失败_由sqoop导入失败发现的hive的空值问题
weixin_39855706的博客
02-02 305
先说基础知识hive中空值分两种(1)NULLhive中null实际在HDFS中默认存储为'\N'，通过查询显示的是'NULL'。这时如果查询为空值的字段可通过语句：aaa is null 或者 aaa ='\N' 实现。此时可用hive中与null有关的函数,如nvl,coalesce,is null等判断是否为null是为true。产生NULL值，一般都是由hive外链接引起的。(2)''''...
使用sqoop将数据从mysql导入hive报错
最新发布
06-11
在使用sqoop将数据从mysql导入hive时，可能会遇到各种错误。以下是一些常见的解决方案： 1. 检查MySQL驱动程序是否正确安装，并且在sqoop命令中正确指定驱动程序。 2. 检查源MySQL数据库中的表是否存在，并且在...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值