使用Sqoop工具把mysql的表往Hive import的时候发生的错误解决

最新推荐文章于 2023-06-20 10:02:37 发布
最新推荐文章于 2023-06-20 10:02:37 发布
阅读量377 收藏
点赞数
文章标签： java 大数据 数据库
执行的语句：
sqoop import --connect jdbc:mysql://master:3306/company --username root --password Omputer123? --table employee --delete-target-dir --num-mappers 1 --hive-import --fields-terminated-by "\t" --hive-overwrite --hive-table emp_hive

发生如下错误：

18/05/29 05:50:55 ERROR hive.HiveConfig: Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly.
18/05/29 05:50:55 ERROR tool.ImportTool: Import failed: java.io.IOException: java.lang.ClassNotFoundException: org.apache.hadoop.hive.conf.HiveConf
at org.apache.sqoop.hive.HiveConfig.getHiveConf(HiveConfig.java:50)
at org.apache.sqoop.hive.HiveImport.getHiveArgs(HiveImport.java:392)
at org.apache.sqoop.hive.HiveImport.executeExternalHiveScript(HiveImport.java:379)
at org.apache.sqoop.hive.HiveImport.executeScript(HiveImport.java:337)
at org.apache.sqoop.hive.HiveImport.importTable(HiveImport.java:241)
at org.apache.sqoop.tool.ImportTool.importTable(ImportTool.java:537)
at org.apache.sqoop.tool.ImportTool.run(ImportTool.java:628)
at org.apache.sqoop.Sqoop.run(Sqoop.java:147)
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)
at org.apache.sqoop.Sqoop.runSqoop(Sqoop.java:183)
at org.apache.sqoop.Sqoop.runTool(Sqoop.java:234)
at org.apache.sqoop.Sqoop.runTool(Sqoop.java:243)
at org.apache.sqoop.Sqoop.main(Sqoop.java:252)
Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.hive.conf.HiveConf
at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:331)
at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
at java.lang.Class.forName0(Native Method)
at java.lang.Class.forName(Class.java:264)
at org.apache.sqoop.hive.HiveConfig.getHiveConf(HiveConfig.java:44)
... 12 more

解决方法：在$SQOOP_HOME/lib目录下执行：
ln -s /usr/local/hive2.2/lib/hive-exec-2.1.1.jar hive-exec-2.1.1.jar

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/31360515/viewspace-2155297/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/31360515/viewspace-2155297/

ckru3012593
关注
使用Sqoop实现Mysql到Hive的数据导入
QYHuiiQ
05-11 6248
使用sqoop将mysql数据导入至hive的本质，其实是数据先导入至hdfs，然后会有一个脚本去执行将hdfs的数据load至hive中。所以我们将数据导入到hive时，其实hdfs中也会有这个数据。 使用sqoop将数据导入至hive时，需要用到一个hive-common-xxx.jar下面的一个类，所以我们需要先将这个jar包上传至sqoop的lib目录下： 添加jar [root@hadoop01 ~]# cp $HIVE_HOME/lib/hive-common-2.3.9.jar $SQO
sqoop从mysql导入数据到hive时tinyint(1)字段自动变成Boolean（已解决）
最新发布
weixin_41589448的博客
03-25 579
Sqoop在抽取数据到Hive或者HDFS时，会自动将类型为tinyint(1)的列转为boolean类型，这就是导致抽取到Hive或HDFS中的数据中只有true和false的原因。最近使用sqoop从mysql导入数据的时候发现tinyint(1)的字段内容在hive中变成了true、false的布尔类型，但是tinyint(2)的却没有。官方文档里也给出了解决方法,有两个解决方法。
hive数据同步（sqoop :Mysql ==>Hive,hive put 文件到hive)
穿裤衩的文叔的专栏
05-31 1413
一、Sqoop同步mysql数据到hive：假设我们在Hive里新建了一张测试表info_test，该表对应mysql 数据库中info_test:    CREATE TABLE info_test(id BIGINT,uid INT, name STRING, tel STRING, ) row format delimited fields terminated by '~...
大数据开发之Hive案例篇3-sqoop导入到hive的大文件
只是甲的博客
10-14 1009
大数据开发 hive 小文件
SQOOP(hive抽取到hive)
xcagy-国际性的文档记录中心
11-10 1838
hive='/usr/bin/hive' hive_database='cagy' if [ -n "$1" ] ;then do_day=$1 else do_day=`date -d "-1 day" +%F` fi str_sql="\ use $hive_database; with a as (select * from table where dt='2222-22-22') insert overwrite table 被插入的表名字 partition(dt...
sqoop导入-hive
Leon_Jinhai_Sun的博客
03-03 259
导入关系表到HIVE 第一步：拷贝jar包 将我们mysql表当中的数据直接导入到hive表中的话，我们需要将hive的一个叫做hiveexec-3.1.1.jar 的jar包拷贝到sqoop的lib目录下 cp /export/servers/apache‐hive‐3.1.1‐bin/lib/hive‐exec‐3.1.1.jar /export/servers/sqoop‐1.4.7...
Sqoop到Hive数据迁移方案
weixin_40991044的博客
08-28 1203
数据集描述 Oracle源表（SQOOP_BITCOIN_DS） Hive目标表（ods_sqoop_bitcoin_ds） 1.创建目标表 手动创建Hive目标表
【Sqoop】MySQL表导入Hive
LS154952447的博客
04-16 1432
用 Sqoop 将 MySQL 指定数据库指定的表导入Hive 的指定数据库。
sqoop mysql to hive_使用sqoop将mysql数据导入到hive中
weixin_35965587的博客
01-18 1424
首先准备工具环境：hadoop2.7+mysql5.7+sqoop1.4+hive3.1准备一张数据库表：接下来就可以操作了。。。一、将MySQL数据导入到hdfs首先我测试将zhaopin表中的前100条数据导出来，只要id、jobname、salarylevel三个字段。再Hdfs上创建目录hadoop fs -mkdir -p /data/base　　#用于存放数据我们cd到sqoop目录下...
sqoop mysql导入hive报错_使用sqoop从mysql导入数据到hive
weixin_39866881的博客
01-20 832
前言这篇文章主要是用sqoop从mysql导入数据到hive时遇到的坑的总结。环境：系统：Centos 6.5Hadoop：Apache，2.7.3Mysql：5.1.73JDK：1.8Sqoop：1.4.7Hadoop以伪分布式模式运行。一、使用的导入命令参照里面的方法，在mysql建了表，填充了数据，然后按照自己的情况输入了命令：sqoop import --connect jdbc:mysq...
解决sqoop导入hive表失败问题
厚积薄发
01-26 2259
用sqoop从关系型数据库（mysql、oracle）将数据导入hive时，当同时导入多个不同数据库，同名表时，需要指定--target-dir参数，不然会导致任务失败，因为sqoop导入数据时，默认会在hdfs上根据表名创建一个临时目录，这样相同表名在hdfs上的路径就冲突了。 因此这种情况下需要指定临时存放数据目录或路径， 方式一： 指定临时目录， --target-dir dbName_tableName 比如hive用户，当导入数据时会在hdfs上创建/user/hive/dbName_t
Hive数据导入、sqoop数据导入导出
石头视角
07-30 1260
在进行数据统计的时候经常会遇到把HIVE中的表数据进行导入导出处理，或者是将查询结果导入到另外一个地方，一般是通过Sqoop来进行Mysql和Hdfs进行数据交互。 1、通过一个sql把算出来的结果导入到一张数据表里面，一般的做法是把数据导入到Hdfs中，然后通过和目标表建立分区，把数据load到目标表中; 如：    beeline -u "jdbc:hive2://test.com:
Sqoop应用_导入Hive
weixin_45017098的博客
06-20 1505
--incremental lastmodified --merge-key的作用：修改过的数据和新增的数据（前提是满足last-value的条件）都会导入进来，并且重复的数据（不需要满足last-value的条件）都会进行合并。如果之前的数据有修改的话可以使用–incremental lastmodified --merge-key进行数据合并执行修改的SQL。现在我们已经实现了 hive的数据导入方式,那么我们怎么实现hive的增量数据导入呢?结果：id=3的数据成功导入。1、append方式。
sqoop采集数据到hive
l1336944916的博客
10-31 1626
@sqoop采集数据到hive 1、oracle抽取数据到hive 本身是map,可指定map的个数；可增量或全量抽；通过shell脚本可批量抽取 应用场景：将表从关系型数据库抽取到hive或hdfs 分隔符问题导致数据量变多，参考https://blog.csdn.net/qq_38250124/article/details/84331037 null值问题：hive官方文档关于null值的描...
hive import 数据报错问题
Yrz7746321的博客
06-08 972
一、故障现象 经反馈，租户在hive使用import导入数据的时候出现报错现象 1. 报错的语句： importtable$db_user.$table_namepartition($p_partition)from'/files/ftp2/zhihui2061/qianyi/$table_name'; 2. 报错截图： FAILED:ExecutionError,returncode-101fromorg.apache.hadoop.hive.ql.exec.Cop...
SQOOP导入数据至Hive
hetry_liang的博客
06-25 3763
1、数据源表同步到hive中 sqoop import \ --connect 'jdbc:postgresql://172.21.232.128:1921/coupon?useUnicode=true&characterEncoding=utf8' \ --username coupondw \ --password 'dw!123456' \ --table t_prime_offer_info_0 \ --hive-import \ --hive-database tmp \ --hive-t
Sqoop导入导出Hive示例
super_tianxinmomo的博客
03-08 1657
Sqoop是连接传统关系型数据库和Hadoop的桥梁。把关系型数据库的数据导入到 Hadoop 系统 ( 如 HDFS、HBase 和 Hive) 中；把数据从 Hadoop 系统里抽取并导出到关系型数据库。利用MapReduce，批处理方式进行数据传输。 本篇文章主要是根据Sqoop导入导出到Hive的实际示例，对Sqoop中的import与export进行简要介绍： ===========...
Sqoop 导入 Hive 报错信息
weixin_30241919的博客
11-13 439
最近 在搭建 简易的 大数据 伪分布式环境（hadoop2.8+hive2.2+hbase1.2+sqoop1.4.6） 在 由sqoop 导数mysql数据到hive 时候发生以下错误：执行 命令目录为 $sqoop_home/bin hive 的 metadata库 使用的是 mysql（初始化完全正常，可在 hive命令行建表，可用SQuirreL SQL Client 3.7正...
MySQL导入hive失败_sqoop从mysql导入hive的一些问题
weixin_28875613的博客
02-02 563
1.错误：Sqoop:Import failed: java.lang.ClassNotFoundException: org.apache.hadoop.hive.conf.HiveConf解决方法：在/etc/profile中添加下面一行export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$HIVE_HOME/lib/*，修改完后可能会出现第四个错误2.错误：m...
怎么使用sqoop将mysql数据表导入hive中
05-13
要使用 Sqoop 将 MySQL 数据表导入到 Hive 中，需要遵循以下步骤： 1. 确保已经安装了 Sqoop 和 Hive。 2. 在 Hive 中创建一个数据库，用于存储导入的数据表。 3. 在 HDFS 中创建一个目录，用于存储导入的数据。 4. 使用 Sqoop 的 import 命令将 MySQL 数据表导入到 HDFS 中： ``` sqoop import \ --connect jdbc:mysql://mysql-server:3306/mydatabase \ --username mysqluser \ --password mysqlpassword \ --table mytable \ --target-dir /user/hive/warehouse/mydatabase.db/mytable \ --fields-terminated-by ',' \ --hive-import \ --hive-table mydatabase.mytable ``` 其中，`jdbc:mysql://mysql-server:3306/mydatabase` 是 MySQL 数据库的连接 URL，`mysqluser` 和 `mysqlpassword` 分别是 MySQL 数据库的用户名和密码，`mytable` 是要导入的数据表名，`/user/hive/warehouse/mydatabase.db/mytable` 是数据导入到 HDFS 中的目录，`--fields-terminated-by ','` 指定了字段分隔符为逗号，`--hive-import` 表示需要将数据导入到 Hive 中，`--hive-table mydatabase.mytable` 指定了在 Hive 中创建的目标表的名称和所在的数据库。 5. 在 Hive 中创建一个外部表，将 HDFS 目录中的数据映射为 Hive 表： ``` CREATE EXTERNAL TABLE mydatabase.mytable ( column1 datatype1, column2 datatype2, ... ) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFILE LOCATION '/user/hive/warehouse/mydatabase.db/mytable'; ``` 注意，这里的表结构要与 MySQL 数据表的结构保持一致。 6. 使用 Hive 的 INSERT INTO 语句将数据从外部表中插入到 Hive 表中： ``` INSERT INTO mydatabase.mytable SELECT * FROM mydatabase.mytable; ``` 这样就完成了将 MySQL 数据表导入到 Hive 中的操作。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值