如何使用 datax 将 oracle 中的数据拉取到 gbase 中？

最新推荐文章于 2024-04-08 17:44:36 发布
最新推荐文章于 2024-04-08 17:44:36 发布
阅读量658 收藏 2
点赞数
分类专栏： DATAX 文章标签： oracle
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43368947/article/details/118578558
版权

需求
将 oracle 中的数据拉取到 gbase 中

步骤
在oracle中选择要拉取的表，与此同时在gbase中创建对应的空表，等待拉取数据

[root@hadoop7 install]# cd /opt/install/GBaseInstall/
[root@hadoop7 GBaseInstall]# su - gbase
Last login: Thu Jul  8 10:28:31 CST 2021 on pts/0
[gbase@hadoop7 ~]$ cd /home/gbase/GBase/server/bin
[gbase@hadoop7 bin]$ ./gbase.server start
Starting GBase SUCCESS!
[gbase@hadoop7 bin]$ gbase -uroot -pgbase
GBase client Free Edition 8.6.2.43-R7
最低0.47元/天 解锁文章
乔诺『布菲』
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
如何使用 datax 将 gbase 中的数据拉取到 oracle 中？
qq_43368947的博客
07-08 627
需求 将 gbase 中的数据拉取到 oracle 中 步骤 1.在gbase中创建需要拉取的表并插入数据 [root@hadoop7 install]# cd /opt/install/GBaseInstall/ [root@hadoop7 GBaseInstall]# su - gbase Last login: Thu Jul 8 10:28:31 CST 2021 on pts/0 [gbase@hadoop7 ~]$ cd /home/gbase/GBase/server/bin [gbase@
gbase迁移mysql_基于datax实现从gbase到mysql的数据迁移--时间字段篇
weixin_31621945的博客
01-19 830
项目背景前期已经写过几篇用datax实现异构数据迁移的文章，面对复杂的上游数据，无法用一种通用的方式来实现所有业务表的迁移，比如一个大业务表中rowid字段与表记录差异特别大(一个表有3亿条记录，里面的最大rowid为30亿)，这种情况下通过rowid切片也能实现迁移，但切片后的数据分布不均匀，这时基于时间字段来迁移则要顺利得多。系统环境gbase8a 16节点集群mysql5.6.46主从迁移策...
使用datax迁移数据的一些感想
weixin_41561946的博客
06-12 1116
项目背景： 项目上最近经常从gbase8a往mysql抽取数据业务，抽取过程属于离线操作，遇到记录条数最多的业务表有30多亿条记录，磁盘空间占用最大的表有170GB（3亿多条记录），整个过程都还是比较顺利，遇到的主要问题是数据如何均匀切片问题？下面记录一条迁移的思路与思考 系统环境 gbase8a多节点集群 mysql5.6.46 迁移思路 1、按业务表记录数进行排序操作，小表直接批量迁移。 思考：判断小表的依据呢？为什么要按记录数进行统计呢，而不加上表size来一起来判断这个表是小表呢 2 迁移思考 不足
Datax同步GBase8a数据到MySQL测试
最新发布
keep__go的博客
04-08 463
Datax同步GBase8a数据到MySQL测试
ORACLE向GBase迁移指南
tornadolyt1978的博客
05-31 1165
ORACLE向GBase迁移指南
GBase常用sql操作和datax gbase配置参数
u010479989的博客
06-08 1377
DEFAULT CHARSET=utf8 ROW_FORMAT=DYNAMIC COMMENT='日志';`id` int(200) NOT NULL COMMENT '数据id',
基于datax实现从gbase到mysql的数据迁移--时间字段篇
weixin_41561946的博客
06-28 1999
项目背景 系统环境 gbase8a 16节点集群 mysql5.6.46主从 迁移策略 实现脚本 datax配置文件 { "job": { "setting": { "speed": { "byte": 1048576 }, "errorLimit": { "record": 0, "percentage": 0.02
Gbase纲要
大熊是个程序缘
04-23 413
Gbase纲要免费单机版入门手册安装 免费单机版入门手册 1. 禁用全文检索和机器学习 2. 免费版仅支持Redhat7 3. 禁用数据加密 安装 硬件配置 硬件 最低配置 推荐配置 处理器 1×2 核 2.0GHz 4×4 核 3.0GHz 内存 4GB 64GB 或更多 硬盘 100GB 1TB 光驱 CD-ROM CD-ROM *单机版下载地址 *企业管理器...
大数据技术之DataX （一）DataX插件开发
大数据指北
10-12 7483
文章目录一、背景二、基于java的本地测试datax2.1 github上下载datax的源代码2.2 datax代码导入idea三、docker安装南大通用数据库GBase和GBase 8a3.1 docker安装Gbase 8a3.2 docker安装Gbase 8s三、南大通用数据库GBase 8s To GBase 8a3.1 GBase 8s的reader读插件开发（writer同理）四、南大通用gbase可视化工具4.1 南大通用GBase 8a的连接配置4.2 南大通用GBase 8s的
3、通过datax同步oracle相关-oracle到hdfs
05-29
3、通过datax同步oracle相关-oracle到hdfs 网址：https://blog.csdn.net/chenwewi520feng/article/details/130508968 介绍oracle的相关同步，oracle同步到hdfs中示例以及验证
DataX-Oracle新增writeMode支持update
03-28
DataX-Oracle新增writeMode支持update的两个jar包已经修改好，使用方法可以看https://blog.csdn.net/qq_36802726/article/details/137118015
datax插件|clickhouse读写插件|同步mysql,oracle等数据到clickhose中或者反向同步|2020修正版
08-01
datax的clickhouse读写插件,由开源产品修复, 适用于clickhouse读写插件|同步mysql,oracle等数据到clickhose中或者反向同步,2020修正版
datax实战-mysql同步数据到hive
01-07
{ job: { setting: { speed: { channel: 1 }, errorLimit: { record: 0, percentage: 0.02 } }, content: [ { reader: {
DataX使用测试数据csv
04-21
自己博客上用到的数据
gbase大批量保存非常慢
qinglongSpring的博客
11-24 766
在使用gbase 大批量保存非常慢，数据库每一条insert 语句都会记录日志。 解决方案: insert into tableName(column1，column2) values (value1,value2),(value1,value2),…,(value1,value2);
gbase8a rowid功能测试
weixin_41561946的博客
05-24 967
项目背景： 需要将gbase8a中的业务数据迁移到mysql5.6中，通过kettle迁移特别慢，通过datax迁移数据是kettle的三倍。 实现原理： 基于gbase8a 业务表中的rowid切片，实现数据的迁移，当然也可以使用分页,用rowid还可以轻松实现增量数据的迁移 (业务表无自增ID和自增时间戳的情况），这里只记录一下rowd功能测试 测试环境版本 gbase8a 8.6.2.43-R7-free.110605 mysql5.7.29 datax同步脚本在博客里有https://editor.
datax测试 读mysql 写hdfs
comecheer.com
06-11 363
安装配置ant：下载 解压后配置环境变量ANT_HOME 同时将ANT_HOME/bin添加到PATH 安装配置mysql\ yum install mysql-server，安装完成后执行mysqladmin -u root password 'root'; grant all privileges on *.* to peter@'localhost' identified by ...
整理总结 --- 大数据开源框架分类
tianyeshiye
12-02 278
1 、文件存储 ：  HDFS、 Tachyon 、KFS S3 2 、离线计算 ：  Hadoop MP、 Spark 3 、流式（实时）计算 ： Storm、 Spark Streaming、Flink、 S4 4 、资源管理 ： YARM、 Mesos 5 、NOSQL数据库 : HBase 、 Redis、 MongoDB 6 、日志收集 ： Flume、 Scribe、 Logstash...
datax 持续数据同步_使用 DataX 将 Hive 与 MySQL 中的表互导
05-24
下面介绍如何使用 DataX 将 Hive 和 MySQL 中的表互导。 首先需要在本地和远程服务器上安装好 DataX。然后创建一个名为 job.json 的配置文件，内容如下： ``` { "job": { "content": [ { "reader": { "name":...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值