数据库迁移
文章平均质量分 72
hello_alldatabase
这个作者很懒,什么都没留下…
展开
-
运行sqoop1.4.5报Warning: does not exist! HCatalog jobs will fail.
软件版本sqoop.1.4.5hadoop.2.10.1报错信息[root@hadoop0 ~]# sqoop helpWarning: does not exist! HCatalog jobs will fail.Please set $HCAT_HOME to the root of your HCatalog installation.Warning: does not exist! Accumulo imports will fail.Please set $ACCUMULO_原创 2021-03-11 22:12:05 · 1937 阅读 · 0 评论 -
大数据迁移工具之sqoop
什么是sqoopSqoop is a tool designed to transfer data between Hadoop and relational databasessqoop环境要求1、需要hadoop环境2、Sqoop 1.4.5 supporting 4 major Hadoop releases - 0.20, 0.23, 1.0 and 2.0安装sqoop常用命令mysqlsqoop import --connect jdbc:mysql://database.exa原创 2021-03-11 15:52:13 · 174 阅读 · 0 评论 -
基于datax实现从gbase到mysql的数据迁移--时间字段篇
项目背景系统环境gbase8a 16节点集群mysql5.6.46主从迁移策略实现脚本datax配置文件{ "job": { "setting": { "speed": { "byte": 1048576 }, "errorLimit": { "record": 0, "percentage": 0.02原创 2020-06-28 22:43:20 · 2018 阅读 · 0 评论 -
通过datax批量从oracle迁移数据到oracle
项目背景https://blog.csdn.net/weixin_41561946/article/details/106957890说明1、datax软件已经在/home/oracle目录下安装好2、将oracle_to_oracle_sigle.sh放在/home/oracle/datax/script下3、将oracle_to_oracle.json放在/home/oracle/datax/job4、将table_name.txt放在/home/oracle/datax/jobshell原创 2020-06-28 16:16:26 · 1964 阅读 · 1 评论 -
生产环境中每5分中增量同步一次数据时遇到的性能问题
前言https://blog.csdn.net/weixin_41561946/article/details/106957890实现方式遇到的问题解决思路和方法总结原创 2020-06-25 16:38:49 · 305 阅读 · 0 评论 -
生产环境中实现每5分钟增量同步一次数据
项目背景业务提出这样一个需求,需要将oracle数据库(简称A库)中的70多张业务表迁移并同步到另一个oracle库(简称B库)下,这70多张业务表都是按月创建的分区表,目前每个张有20万张记录,以每5分钟的频率新增一条记录,需要将新增的记录同步是B库下,同时从这70多张业务表上取出最新一条记录的部分字段作展示注意:同一张表有可能多次查询,每次只取两个字段。需求分析实现思路与方法1、业务表结构和数据迁移实现方面的很多,比如kettle,datax,navicat,这里不是再详述2、业务表有明确的原创 2020-06-25 14:50:32 · 1314 阅读 · 0 评论 -
kettle6.0.1遇到的datetime问题
背景从oracle库中迁移完成数据到另一个oracle后,有部分表需要做增量同步,增量字段是基于时间,但在预览数据和转换数据时遇到了以下问题遇到问题1、两边表中时间字段都使用datetime类型,但需要对该字段进行to_Date(to_char)方式转换2、通过kettle的预览数据功能,发现时间字段多加了6个零解决方式总结...原创 2020-06-23 23:38:11 · 1912 阅读 · 2 评论 -
使用datax迁移数据的一些感想
项目背景:项目上最近经常从gbase8a往mysql抽取数据业务,抽取过程属于离线操作,遇到记录条数最多的业务表有30多亿条记录,磁盘空间占用最大的表有170GB(3亿多条记录),整个过程都还是比较顺利,遇到的主要问题是数据如何均匀切片问题?下面记录一条迁移的思路与思考系统环境gbase8a多节点集群mysql5.6.46迁移思路1、按业务表记录数进行排序操作,小表直接批量迁移。思考:判断小表的依据呢?为什么要按记录数进行统计呢,而不加上表size来一起来判断这个表是小表呢2迁移思考不足原创 2020-06-12 22:54:34 · 1134 阅读 · 2 评论 -
datax3.0基于时间离线抽取2亿多行大小为100GB的业务大表
项目背景:从gbase8a中抽取为业务大表到mysql数据库中,mysql中的业务表多了两个字段,之前的抽取方式是基于rowid,但这张表业务经过了delete方式删除,目前这张表有2亿多的条记录,但rowid达到27亿之多,后面查看该到有时间字段,于是决定通过时间字段按天进行抽取。系统环境:gbase8a 集群mysql5.6.46主从实现步骤1、查询需要同步的列字段select group_concat(concat(’"’,column_name,’"’)) from informati原创 2020-06-10 23:20:13 · 1235 阅读 · 0 评论 -
mysql、oracle、postgresql库内迁移的几种方法
项目背景从多种数据库向mysql数据迁移,mysql作为离线数据仓库,迁移之前并没有对mysql库名进行提前规划,导致mysql数据库里的数据库名称特别乱,现在重新定义一套建库标准规范,准备重新建库并将原来库里的数据导入到新库,老库的数据保留7天后删除,一共5个mysql数据库实例,分部在5台服务器上,最大的一个实例里15个库,整个实例的大小为400GB,其他4个实例上分别都有5-8个数据库,每个实例的总大小在80GB左右,5台 服务器的上的硬盘空间是足够的。mysql库内迁移的几种方法1、利用数据库原创 2020-05-26 23:07:51 · 221 阅读 · 0 评论 -
gbase8a rowid功能测试
项目背景:需要将gbase8a中的业务数据迁移到mysql5.6中,通过kettle迁移特别慢,通过datax迁移数据是kettle的三倍。实现原理:基于gbase8a 业务表中的rowid切片,实现数据的迁移,当然也可以使用分页,用rowid还可以轻松实现增量数据的迁移 (业务表无自增ID和自增时间戳的情况),这里只记录一下rowd功能测试测试环境版本gbase8a 8.6.2.43-R7-free.110605mysql5.7.29datax同步脚本在博客里有https://editor.原创 2020-05-24 23:14:30 · 981 阅读 · 0 评论 -
datax从gbase8a同步上亿大表到mysql5.7中
[root@lineqi job]# cat test.sh#!/bin/bashv_table=‘aa’let v_split_num=300000let v_start_num=0let v_end_num=0v_table_list=’/opt/datax/job/table_name.txt’v_table_name=’’v_exec_command=’/opt/datax...原创 2020-04-26 22:49:13 · 1741 阅读 · 3 评论 -
数据迁移工具/平台大全
最近在做数据迁移的事,调研发现这方面的资料非常多少,这里Mark一下,6月底之前把所有工具试用一遍参考资料DataLink是一个满足各种异构数据源之间的实时增量同步,分布式、可扩展的数据交换平台。1、神州优车:https://github.com/ucarGroup/DataLink08年左右,阿里巴巴开始尝试MySQL的相关研究,并开发了基于MySQL分库分表技术的相关产品,Cobar/...原创 2020-03-09 22:37:24 · 1429 阅读 · 0 评论 -
通过kettle从excel中抽取数据到mysql中显示乱码
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Ma...原创 2020-02-07 17:34:23 · 725 阅读 · 1 评论 -
异构数据库迁移:oracle to postgresql
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入异构数据库迁...原创 2020-02-06 21:13:38 · 459 阅读 · 1 评论