如何使用 datax 将 gbase 中的数据拉取到 oracle 中？

最新推荐文章于 2024-04-08 17:44:36 发布
最新推荐文章于 2024-04-08 17:44:36 发布
阅读量621 收藏 2
点赞数
分类专栏： DATAX 文章标签： oracle
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43368947/article/details/118580441
版权

需求

将 gbase 中的数据拉取到 oracle 中

步骤

1.在gbase中创建需要拉取的表并插入数据

[root@hadoop7 install]# cd /opt/install/GBaseInstall/
[root@hadoop7 GBaseInstall]# su - gbase
Last login: Thu Jul  8 10:28:31 CST 2021 on pts/0
[gbase@hadoop7 ~]$ cd /home/gbase/GBase/server/bin
[gbase@hadoop7 bin]$ ./gbase.server start
Starting GBase SUCCESS!
[gbase@hadoop7 bin]$ gbase -uroot -pgbase
GBase client Free Edition 8.6.2.43-R7-free.110605. Copyright (c) 2004-2021, GBase.  All Rights Reserved.
gbase> create table if not exists doc(id int,name char,age int,dj int);
Query OK, 0 rows affected (
最低0.47元/天 解锁文章
乔诺『布菲』
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
如何使用 datax 将 oracle 中的数据拉取到 gbase 中？
qq_43368947的博客
07-08 642
需求 将 oracle 中的数据拉取到 gbase 中 步骤 在oracle中选择要拉取的表，与此同时在gbase中创建对应的空表，等待拉取数据 [root@hadoop7 install]# cd /opt/install/GBaseInstall/ [root@hadoop7 GBaseInstall]# su - gbase Last login: Thu Jul 8 10:28:31 CST 2021 on pts/0 [gbase@hadoop7 ~]$ cd /home/gbase/GBase
3、通过datax同步oracle相关-oracle到hdfs
05-29
3、通过datax同步oracle相关-oracle到hdfs 网址：https://blog.csdn.net/chenwewi520feng/article/details/130508968 介绍oracle的相关同步，oracle同步到hdfs中示例以及验证
gbase迁移表到oracle,DB2向GBase表结构迁移经验分享
weixin_34998630的博客
04-08 553
上次与大家分享了一下ORACLE向GBase表结构迁移经验，但是我们的工作必然会与不同的数据库打交道，在这里在和大家分享一下DB2到GBASE的迁移经验。1.二进制数据类型迁移BLOB 类型在 DB2 中，二进制大对象，BLOB(n[K|M|G])：二进制大对象是变长字符串，最长可达2,147,483,647 字节。如果只指定了 n，那么 n 就是最大长度。如果指定了 nK，那么最大长度就是 n1...
Datax同步GBase8a数据到MySQL测试
最新发布
keep__go的博客
04-08 426
Datax同步GBase8a数据到MySQL测试
GBase 8a 数据抽取工具orato8a用法介绍
ljx123456666的博客
04-06 1621
1. 说明 orato8a是用于从Oracle抽取数据，可以导入GBase 8a数据库的数据抽取工具 2. 使用语法 ./orato8a parameter_1 parameter_2 …… parameter_n parameter_1：orato8a的参数，一个orato8a后可以使用多个参数，参数可以使用全称格式，也可以使用简称格式； 全称格式：--parameter_1=参数值，=两边不能有空格； 简称格式：-parameter_1 参数值；简写格式时，参数和参数值之间不能有空格；
datax从gbase8a同步上亿大表到mysql5.7中
weixin_41561946的博客
04-26 1687
[root@lineqi job]# cat test.sh #!/bin/bash v_table=‘aa’ let v_split_num=300000 let v_start_num=0 let v_end_num=0 v_table_list=’/opt/datax/job/table_name.txt’ v_table_name=’’ v_exec_command=’/opt/datax...
GBase常用sql操作和datax gbase配置参数
u010479989的博客
06-08 1349
DEFAULT CHARSET=utf8 ROW_FORMAT=DYNAMIC COMMENT='日志';`id` int(200) NOT NULL COMMENT '数据id',
datax实战-mysql同步数据到hive
01-07
{ job: { setting: { speed: { channel: 1 }, errorLimit: { record: 0, percentage: 0.02 } }, content: [ { reader: {
datax插件|clickhouse读写插件|同步mysql,oracle等数据到clickhose中或者反向同步|2020修正版
08-01
datax的clickhouse读写插件,由开源产品修复, 适用于clickhouse读写插件|同步mysql,oracle等数据到clickhose中或者反向同步,2020修正版
DataX使用测试数据csv
04-21
自己博客上用到的数据
java使用datax增量同步代码
04-19
java使用datax增量同步代码，直接放到项目可使用，支持增量，全量可配置，同步一张表只需添加一条记录
GBase8a导出和加载数据步骤
热门推荐
a2540955226的博客
01-11 1万+
一、ssh工具连接服务器： 二、切换gbase用户：执行su gbase命令 三、执行gccli命令，进入sql命令： 四、执行sql语句，把需要导出的表导出到指定目录： SELECT * FROM mid.xxx INTO OUTFILE '/opt/gbase/dispatch_server/xxx.txt' FIELDSTERMINATED BY '|'
gbase迁移mysql_基于datax实现从gbase到mysql的数据迁移--时间字段篇
weixin_31621945的博客
01-19 815
项目背景前期已经写过几篇用datax实现异构数据迁移的文章，面对复杂的上游数据，无法用一种通用的方式来实现所有业务表的迁移，比如一个大业务表中rowid字段与表记录差异特别大(一个表有3亿条记录，里面的最大rowid为30亿)，这种情况下通过rowid切片也能实现迁移，但切片后的数据分布不均匀，这时基于时间字段来迁移则要顺利得多。系统环境gbase8a 16节点集群mysql5.6.46主从迁移策...
基于datax实现从gbase到mysql的数据迁移--时间字段篇
weixin_41561946的博客
06-28 1981
项目背景 系统环境 gbase8a 16节点集群 mysql5.6.46主从 迁移策略 实现脚本 datax配置文件 { "job": { "setting": { "speed": { "byte": 1048576 }, "errorLimit": { "record": 0, "percentage": 0.02
Gbase纲要
大熊是个程序缘
04-23 411
Gbase纲要免费单机版入门手册安装 免费单机版入门手册 1. 禁用全文检索和机器学习 2. 免费版仅支持Redhat7 3. 禁用数据加密 安装 硬件配置 硬件 最低配置 推荐配置 处理器 1×2 核 2.0GHz 4×4 核 3.0GHz 内存 4GB 64GB 或更多 硬盘 100GB 1TB 光驱 CD-ROM CD-ROM *单机版下载地址 *企业管理器...
大数据技术之DataX （一）DataX插件开发
大数据指北
10-12 7395
文章目录一、背景二、基于java的本地测试datax2.1 github上下载datax的源代码2.2 datax代码导入idea三、docker安装南大通用数据库GBase和GBase 8a3.1 docker安装Gbase 8a3.2 docker安装Gbase 8s三、南大通用数据库GBase 8s To GBase 8a3.1 GBase 8s的reader读插件开发（writer同理）四、南大通用gbase可视化工具4.1 南大通用GBase 8a的连接配置4.2 南大通用GBase 8s的
如何使用 datax 将 mysql 中的数据拉取到 hive ？
qq_43368947的博客
07-09 1679
需求 使用datax将mysql中的数据拉取到hive的ods层 步骤 首先在mysql中确定好需要拉取的表user_extend， 然后对应在hive中创建好空表，等待拉取 这里对应创建的hive表格如下 CREATE TABLE snbap_ods.ods_user_extend ( user_id bigint , user_gender bigint , is_pregnant_woman tinyint , is_have_children tinyint , is
如何使用 datax 拉取 oracle 中的数据到 hive 中？
qq_43368947的博客
07-08 1479
需求 将oracle中的表拉取到hive中 步骤 先在oracle中的某一个库中里创建一张表（我这里的库是TEXT） create table stu( id number(5), name VARCHAR2(20), grade NUMBER(5), score NUMBER(5) ) INSERT INTO STU VALUES(1,'李四',8,100); INSERT INTO STU VALUES(2,'多多',9,115); INSERT INTO STU VALUES(3,'熊安安',7,9
如何使用 datax 拉取 hive 中的数据到 oracle 中？
qq_43368947的博客
07-08 1333
需求 将 hive 中的数据拉取到 oracle 中，使用的工具是 datax 步骤 1.先在 hive 中找一张需要拉取的表，然后在 oracle 中创建对应的空表，等待拉取数据 2.在 datax 的 bin 目录下 编写 json 脚本 vi hiveoracle.json { "job": { "setting": { "speed": { "byte": 1048576 }, "errorLimit
datax 持续数据同步_使用 DataX 将 Hive 与 MySQL 中的表互导
05-24
DataX 是阿里巴巴集团开源的一款数据同步工具，它支持多种数据源之间的同步，包括 Hive、MySQL、Oracle 等常见关系型数据库以及 HDFS、FTP 等非关系型数据源。下面介绍如何使用 DataX 将 Hive 和 MySQL 中的表互导。 首先需要在本地和远程服务器上安装好 DataX。然后创建一个名为 job.json 的配置文件，内容如下： ``` { "job": { "content": [ { "reader": { "name": "hdfswriter", "parameter": { "path": "/user/hive/warehouse/myhive.db/myhive_table", "defaultFS": "hdfs://localhost:9000", "fileType": "orc", "column": [ "col1", "col2", "col3" ] } }, "writer": { "name": "mysqlwriter", "parameter": { "url": "jdbc:mysql://localhost:3306/test", "username": "root", "password": "123456", "table": "mysql_table", "column": [ "col1", "col2", "col3" ] } } } ], "setting": { "speed": { "channel": "3" } } } } ``` 该配置文件定义了一个数据同步任务，将 Hive 中的 myhive_table 表导入到 MySQL 中的 mysql_table 表中。其中，hdfswriter 和 mysqlwriter 分别表示数据源和目标源的类型，parameter 参数中定义了数据源和目标源的详细信息。column 参数定义了需要同步的列。 执行以下命令启动 DataX 任务： ``` python datax.py job.json ``` 该命令会按照配置文件中的定义开始数据同步任务。在数据量较大的情况下，可以通过修改 job.json 中的 speed 参数来调整数据同步的速度，以避免对源和目标服务器的负载过大。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值