hive oracle 同步,[数据库到hive变更同步]记一次从oracle到hive的历史数据迁移(一)...

bc3f9276acf88283a0569b9b9ef9ee92.png

在线QQ客服:1922638

专业的SQL Server、MySQL数据库同步软件

介绍一下具体场景

需要从现有在用的oracle中将历史数据迁移出来并导入到hive中,存在几个问题:1、现有oracle数据库在使用无法整个库导出,数据库服务器没有权限;2、由于各个数据提供方的各次升级,oracle数据库采取添加字段而不删除字段的方式更新,而hive中建立的表数据结构要按新的来,也就是说oracle导出的数据到hive表中需要做字段对应。

决定先将oracle导入到另一个oracle中,将oracle中表字段和hive中的表字段进行比对得到各个的对应关系,之后写对应的sqoop语句对应利用ETL流程安装账期一天一天导入。

从一个oracle到另一个oracle导入的方案,利用大神写出的sqluldr2 工具用来导出数据,导入利用

sqlldr 命令导入到另一个库表中。

导出的具体命令

sqluldr2.bin user=root/pwd@tnsname query=”select * from table ” head=no File=/data/oracle/tmp/file 导出到本地目录

导入的具体命令

sqlldr root/pwd@@ip:1521/tnsname control=/data/oracle/shell/xxx.ctl

data=/data/oracle/tmp/file

log=/data/oracle/log/file.log errors=0 rows=100000 bindsize=1024000000 direct=y;

xxx.ctl 是用来指定导入表的字段和分割符如下写法

load data

truncate into table tablename

Fields terminated by ‘,’ #文件的列分隔符

TRAILING NULLCOLS

(

IP char(255),

APPKEY char(255),

PLATFORM char(255),

PORTAL char(255),

COMPANYID char(255) )

将数据从Oracle数据库迁移Hive中可以采用以下步骤: 1.安装Hive,配置Hive环境变量 2.安装Sqoop,配置Sqoop环境变量 3.创建Hive结构 4.使用Sqoop将Oracle数据导入到Hive中 具体步骤如下: 1.安装Hive,配置Hive环境变量 需要下载并安装Hive,然后配置Hive环境变量。可以参考Hive的官方文档进行安装和配置。 2.安装Sqoop,配置Sqoop环境变量 需要下载并安装Sqoop,然后配置Sqoop环境变量。可以参考Sqoop的官方文档进行安装和配置。 3.创建Hive结构 需要先在Hive中创建结构,以便后续将Oracle数据导入到Hive中。可以使用Hive的DDL语句进行创建结构,例如: ``` CREATE TABLE employee ( id INT, name STRING, age INT, gender STRING ) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFILE; ``` 4.使用Sqoop将Oracle数据导入到Hive中 使用Sqoop将Oracle数据导入到Hive中,可以使用以下命令: ``` sqoop import \ --connect jdbc:oracle:thin:@//hostname:port/service_name \ --username username \ --password password \ --table oracle_table_name \ --hive-import \ --hive-table hive_table_name \ --fields-terminated-by ',' \ --lines-terminated-by '\n' ``` 其中,`--connect`指定Oracle数据库的连接信息,`--username`和`--password`指定Oracle数据库的用户名和密码,`--table`指定要导入的Oracle名,`--hive-import`指定要将数据导入到Hive中,`--hive-table`指定要导入到的Hive名,`--fields-terminated-by`指定Oracle中字段之间的分隔符,`--lines-terminated-by`指定Oracle中行之间的分隔符。 例如,如果要将Oracle数据库中的`employee`导入到Hive中的`employee`中,可以使用以下命令: ``` sqoop import \ --connect jdbc:oracle:thin:@//localhost:1521/orcl \ --username scott \ --password tiger \ --table employee \ --hive-import \ --hive-table employee \ --fields-terminated-by ',' \ --lines-terminated-by '\n' ``` 这样就可以将Oracle数据成功导入到Hive中了。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值