通过Sqoop工具将Oracle数据库中的表数据导入到Hive的过程

最新推荐文章于 2022-01-14 12:59:00 发布
最新推荐文章于 2022-01-14 12:59:00 发布
阅读量4.6k 收藏 10
点赞数 1
分类专栏： Hive 文章标签： sqoop Hive oracle
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012630060/article/details/69948729
版权
本文介绍了如何使用Sqoop工具将Oracle数据库中的表数据导入到Hive。首先，通过Sqoop创建Hive中的表结构，然后导入实际数据。整个过程包括两步：一是创建Hive表结构，二是导入数据。注意Oracle表名需大写以避免错误。
摘要由CSDN通过智能技术生成
Sqoop是一款开源的工具 主要用于在Hadoop(Hive，HBasw)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如 MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。

将各种关系型数据导入Hive中，其实大同小异，这里就以Oracle数据为例，将Oracle中的数据导入到Hive中。共分为两个步骤：

第一步：用Sqo
最低0.47元/天 解锁文章
开飞机的舒克贝塔
关注
专栏目录
用sqoop将oracle数据导入Hive
u010842515的博客
04-14 1608
参数 说明 --
sqoop从oracle到hive,sqoop从oracle数据库抽取数据,导入到hive
weixin_32503531的博客
04-10 1303
环境:hadoop-2.7.5sqoop-1.4.7zookeeper-3.4.10hive-2.3.3 (使用mysql配置元数据库)jdk1.8.0_151oracle 11.2.0.3.0经过一番baidu,总算初步成功,现在记录一下中间过程.1.拷贝hive/conf/hive_site.xml到sqoop/conf目录2.配置sqoop-evn.sh,将变量设置为对应的目录.export...
sqoop操作之ORACLE导入到HIVE
weixin_34295316的博客
08-06 263
导入表的所有字段 sqoop import --connect jdbc:oracle:thin:@192.168.1.107:1521:ORCL \ --username SCOTT --password tiger \ --table EMP \ --hive-import --create-hive-table --hive-table emp -m 1;   如果报...
使用Sqoop将Oracle数据导入Hive
★【World Of Moshow 郑锴】★
04-10 1万+
使用Sqoop将Oracle数据导入Hive的核心指令是，这段是我经常用的，有些地方做了处理 sqoop import --connect jdbc:oracle:thin:eas/eas@192.168.100.199:1521:eas --table TMP_NEEDCLEAN_PROVIDER2 --hive-import --hive-database xxx --hiv...
使用sqoop将数据从oracle导入到Hive
mouriceley的博客
06-01 3996
1、基本环境篇    操作系统：Ubuntu 16.04 LTS    Hadoop:2.92、安装及配置mysql   （1）安装mysql  $ sudo apt-get update    $ sudo apt-get install mysql-server   （2）启动mysql         $ service mysql start   （3）设置mysql开启自启动 $...
oracle导入到hive中,sqoop操作之ORACLE导入到HIVE
weixin_39587010的博客
04-12 1227
导入表的所有字段sqoop import --connect jdbc:oracle:thin:@192.168.1.107:1521:ORCL \--username SCOTT --password tiger \--table EMP \--hive-import --create-hive-table --hive-table emp -m 1;如果报类似的错:ERROR tool.I...
Hadoop-Sqoop-Oracle:使用Sqoop在Oracle数据库和HDFS之间进行导入和导出
04-07
Hadoop-Sqoop-Oracle 使用Sqoop在Oracle数据库和HDFS之间进行导入和导出 ... 可以将来自外部系统的数据导入HDFS并以Hive表和HBase表等各种Hadoop文件格式保存。 Sqoop v2仅支持保存到HDFS 在所有与JDBC
用sqoop将Oracle数据全量导入到HIve的Shell脚本(第一版)
qq_40870024的博客
01-14 948
前言: 这是本人写的Shell脚本,可用于 sqoop将Oracle数据全量/增量 导入到HIve中,也为大家提供了详细的注释 运行条件:在linux中运行下面脚本时,需要传入时间参数,来记录每次导入的时间,来减少工作失误. #!/bin/bash ##----------------------------------------------------------------------------------------- ##--程序名称：抽取ORACLE表数据到HIVE ##--功能描述: 每日
Oracle 表导入 Hive 表
三妹的博客
10-11 961
一、需求 需要的数据在两个不同 Oracle 数据库中， 且其中一个数据库中的内容有一份一模一样的存在 hive 表中。 二、解决办法 将另一个 Oracle 表存入 hive 表中。 具体实现： 1. 将 Oracle 数据导出 CSV 文件：oracle_example.csv，并上传至服务器 /DATA 路径下； 2. 先根据原始 Oracle 表结构在 hive 中建立一个新表...
Sqoop导Oracle数据到Hive
12-21
Sqoop导Oracle数据到Hive,代码清晰一目了然
kettle 从oracle数据库导数据到hive 表
03-23
由于公司要把oracle 数据库迁移到hive ，hbase 环境，特建议使用kettle做数据迁移，调试3个小时，终于调试成功，顺手写了个配置文档。
sqoop导入oracle分区表,sqoop导入oracle数据至hive
weixin_32525457的博客
04-10 970
一、目的将oracle数据文件dmp中的数据导入到hive中。目标分解：由于已有的数据都在dmp文件中，因此要先将dmp文件中的数据导入到oracle中，再将oracle中的表导入到hive中。二、dmp文件导入到oracle数据库dmp文件：只有一个不知来源的dmp文件，不知道从哪个数据库中导出的，也不知道导出用户是谁。(不要紧，后面可以根据错误提示一步步改)oracle数据库：安装oracle...
sqoop导入oracle数据至hive
彩虹柠檬水
11-05 3720
一、目的 将oracle数据文件dmp中的数据导入到hive中。 目标分解： 由于已有的数据都在dmp文件中，因此要先将dmp文件中的数据导入到oracle中，再将oracle中的表导入到hive中。 二、dmp文件导入到oracle数据库 dmp文件：只有一个不知来源的dmp文件，不知道从哪个数据库中导出的，也不知道导出用户是谁。（不要紧，后面可以根据错误提示一步步改） oracle
使用sqoop将oracle数据迁移到hive中
xuefenxi的博客
12-24 1600
技术专题：使用sqoop将oracle数据迁移到hive中目标：hive分区表（时间分区表）每个分区表中存放从oracle抽过来的数据，用来数据分析技术分析：    1、将要抽取的oracle表放到一张临时表中，（抽取这张表将其放到抽放到配置文件中,供抽取参数使用）    2、使用sqoop将oracle中的表抽取成HDFS文件。（注意：生成的文件目录应该和hive外表指定的目录对应，目录同
oracle sqoop 导出_Sqoop工具使用(二)--从oracle导入数据到hive
weixin_39955418的博客
12-22 291
sqoop import -D oracle.sessionTimeZone=CST --connect jdbc:oracle:thin:@192.168.78.6:1521:hexel \--username TRX --table SQOOP -m 1 --password trx --warehouse-dir /xtld/data/gj/SQOOP \--hive-import ...
Sqoop从Oracle导入表到Hive
热门推荐
我的博客
04-06 1万+
最近甲方项目希望建立大数据平台，需要将保存在Oracle中的表和记录全部导入到大数据平台中。原计划是将表导入到HBase中，作为Hive外部表，但甲方对如何使用还没有明确想法，HBase行键不好设计，但甲方又急于将数据导入试用。于是决定先将数据导入到Hive中，方便他们做统计分析试验。调研一番后，决定采用Sqoop。现将使用过程总结如下。
将hive中的某张表的数据导入oracle的某张表中
Albert0510的博客
07-25 1068
1、将hive中的数据通过hive -e 命令导出到文件中默认分割符为"\t"。 FILE_NAME=`echo " file.del|select * from table"  | awk -F'\|' '{print $1}' `; Sql=`echo "file.del|select * from table " | awk -F'\|' '{print $2}'`; hive -e ...
用Sqoop从oracle导出到Hive中的ORC table
euler1983的专栏
12-13 2750
之前尝试的都是用sqoop导出到hive中的hdfs里，作为外部表。再到hive里建内部表，关联上外部表。 这次尝试直接用sqoop将oracle数据（千万量级）导出到hive中的内部表里。 全程不需要手动建表，方法如下： 1. 利用cx_Oracle程序从oracle里读取表格的前几行数据，读成pandas dataframe。 2. 利用pyspark程序从oracle里用spark.read.jdbc读取原始表，返回值为pyspark dataframe。 3. 利用pyspark的sche
Sqoop高效迁移Oracle数据至Hive：步骤详解与注意事项
Sqoop 是一个开源工具，用于在 Hadoop 和关系数据库之间进行数据迁移，特别是从 Oracle 数据库导入数据到 Hadoop 分布式文件系统（HDFS）和 Hive。在这个例子中，我们看到如何通过 Sqoop 将 Oracle 数据库中的 `...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值