数据库
文章平均质量分 87
行走的code
这个作者很懒,什么都没留下…
展开
-
MongoDB全量迁移断点续传功能学习与实现
1. 背景 MongoDB是一个基于分布式文件存储的开源数据库系统,用户存储文本数据。MongoDB提供了一个面向文档的存储,操作起来比较简单容易,查询速度快等特点。数据迁移是数据库工作中经常见到的一个场景,比如扩容、备份、上云等需求,数据迁移包括全量迁移和增量迁移。在全量迁移的过程中,为了追求速度,提高迁移效率,通常使用高并发的方式,这种并发通常是行级别,而在迁移的过程中,原创 2017-10-02 11:15:53 · 2253 阅读 · 0 评论 -
关于一次mysql的列属性not null的坑爹排查
背景: 先说下背景情况,最近在工作中遇到了一个坑爹的事情,有个数据从A库到B库之后,某个字段数据不一致,原来的数据是值null,到新库之后变成了‘’, 这就奇怪了?于是查看了一下表结构,在A库源库的表结构的定义为了 xxx varchar(32) default null ,而在目标库的表结构为 xxx varchar(32) not null default ''类型,按理说如原创 2017-11-15 11:01:15 · 6321 阅读 · 2 评论 -
关于开源工具Sqoop源码解读----Mysql字符串作为主键主键分片
最近在做Mysql的数据库的迁移的过程中遇到一个问题,如果用户建的表的主键是字符串,这就导致了一个非常头痛的问题,如果对整张表进行分片?均匀的分片,有人说采用limit轮询的方式查,但是这种效率太差,比如说几十亿的表,几百亿的表,要查出所有的boundary也是个非常头痛的事情....偶尔看到Appache有个类似的开源工具Sqoop,专门用来进行数据迁移,支持关系型数据库mysql,orac原创 2018-01-20 22:06:05 · 1675 阅读 · 1 评论