mysql异构同步mongo_mongodb 备份恢复, 异构平台数据迁移mysql -> mongodb

1.1 备份恢复工具介绍：

(1)** mongoexport/mongoimport

(2)***** mongodump/mongorestore

1.2 备份工具区别在哪里？

应用场景总结:

mongoexport/mongoimport:json csv1、异构平台迁移 mysql mongodb2、同平台，跨大版本：mongodb 2 ----> mongodb 3

3. 导入导出的是json格式或者csv格式mongodump/mongorestore

日常备份恢复时使用.

导入导出的是bson格式, 不同版本的bson格式可能不同, 所以存在失败的可能, bson不同的可使用mongoexport

补充: json可读性强但体积大, bson则是二进制文件, 体积小但没有可读性.

1.3 导出工具mongoexport

mongoexport具体用法如下所示：

$ mongoexport--help

参数说明：-h:指明数据库宿主机的IP-u:指明数据库的用户名-p:指明数据库的密码-d:指明数据库的名字-c:指明collection的名字-f:指明要导出那些列-o:指明到要导出的文件名-q:指明导出数据的过滤条件--authenticationDatabase admin1.单表备份至json格式

mongoexport-uroot -proot123 --port 27017 --authenticationDatabase admin -d oldboy -c log -o /mongodb/log.json

注：备份文件的名字可以自定义，默认导出了JSON格式的数据。2. 单表备份至csv格式

如果我们需要导出CSV格式的数据，则需要使用----type=csv参数：

mongoexport-uroot -proot123 --port 27017 --authenticationDatabase admin -d test -c log --type=csv -f uid,name,age,date -o /mongodb/log.csv

1.4 导入工具mongoimport

$ mongoimport --help

参数说明：-h:指明数据库宿主机的IP-u:指明数据库的用户名-p:指明数据库的密码-d:指明数据库的名字-c:指明collection的名字-f:指明要导入那些列-j, --numInsertionWorkers= number of insert operations to run concurrently (defaults to 1)//并行(建议1/4的cpu数, 因为得考虑io问题)

数据恢复:1.恢复json格式表数据到log1

mongoimport-uroot -proot123 --port 27017 --authenticationDatabase admin -d oldboy -c log1 /mongodb/log.json2.恢复csv格式的文件到log2

上面演示的是导入JSON格式的文件中的内容，如果要导入CSV格式文件中的内容，则需要通过--type参数指定导入格式，具体如下所示：

错误的恢复

注意：

(1)csv格式的文件头行，有列名字

mongoimport-uroot -proot123 --port 27017 --authenticationDatabase admin -d oldboy -c log2 --type=csv --headerline --file /mongodb/log.csv

(2)csv格式的文件头行，没有列名字

mongoimport-uroot -proot123 --port 27017 --authenticationDatabase admin -d oldboy -c log3 --type=csv -f id,name,age,date --file /mongodb/log.csv--headerline: 指明第一行是列名，不需要导入。

--drop:　　　　该参数用于当导入得表命存在时先删除原表.

-f: 没有字段头行时使用该参数指定字段名.

8.5 异构平台迁移案例

mysql ----->mongodb

world数据库下city表进行导出，导入到mongodb

(1)mysql开启安全路径

vim/etc/my.cnf --->添加以下配置

secure-file-priv=/tmp--重启数据库生效/etc/init.d/mysqld restart

(2)导出mysql的city表数据

source/root/world.sqlselect * from world.city into outfile '/tmp/city1.csv' fields terminated by ',';

# fields terminated by ',' 可用来指定导出的数据列之间用逗号拼接. 默认是空格

(3)处理备份文件

desc world.city

ID| int(11) | NO | PRI | NULL | auto_increment |

| Name | char(35) | NO | | | |

| CountryCode | char(3) | NO | MUL | | |

| District | char(20) | NO | | | |

|Population

vim/tmp/city.csv ---->添加第一行列名信息

ID,Name,CountryCode,District,Population

(4)在mongodb中导入备份

mongoimport-uroot -proot123 --port 27017 --authenticationDatabase admin -d world -c city --type=csv -f ID,Name,CountryCode,District,Population --file /tmp/city1.csv

use world

db.city.find({CountryCode:"CHN"});-------------world共100张表，全部迁移到mongodbselect table_name ,group_concat(column_name) from columns where table_schema='world'group by table_name;select * from world.city into outfile '/tmp/world_city.csv' fields terminated by ',';select concat("select * from",table_schema,".",table_name ,"into outfile '/tmp/",table_schema,"_",table_name,".csv' fields terminated by ',';")from information_schema.tables where table_schema ='world';

导入：

提示，使用infomation_schema.columns+information_schema.tables

mysql导出csv：select * fromtest_info

into outfile'/tmp/test.csv'fields terminated by','　　　 ------字段间以,号分隔

optionally enclosed by'"'　　 ------字段用"号括起

escaped by '"' 　　　　　　 ------字段中使用的转义符为"lines terminated by '\r\n';　　------行以\r\n结束

mysql导入csv：

load data infile'/tmp/test.csv'--------------指定csv格式的文件路径

into table test_info ---------------test_info表需要事先在mysql中创建好,列和要导入的数据匹配

fields terminated by','---------------分隔符

optionally enclosed by'"'---------------以下的3行可不要, 未搞明白用处

escaped by'"'lines terminated by'\r\n';

8.6 mongodump和mongorestore

8.6.1介绍

mongodump能够在Mongodb运行时进行备份，它的工作原理是对运行的Mongodb做查询，然后将所有查到的文档写入磁盘。

但是存在的问题时使用mongodump产生的备份不一定是数据库的实时快照，如果我们在备份时对数据库进行了写入操作，

则备份出来的文件可能不完全和Mongodb实时数据相等。另外在备份时可能会对其它客户端性能产生不利的影响。

8.6.2 mongodump用法如下：

$ mongodump --help

参数说明：-h:指明数据库宿主机的IP-u:指明数据库的用户名-p:指明数据库的密码-d:指明数据库的名字-c:指明collection的名字-o:指明到要导出的文件名-q:指明导出数据的过滤条件-j, --numParallelCollections= number of collections to dump in parallel (4 by default)--oplog 备份的同时备份oplog

8.6.3 mongodump和mongorestore基本使用

全库备份

mkdir /mongodb/backup

mongodump-uroot -proot123 --port 27017 --authenticationDatabase admin -o /mongodb/backup

# 全备完成后会在backup目录下生成多个目录, 一个db对应一个目录, 目录下是表(一个表对应两个文件, 一个是列名, 一个是数据)

# bsondump xx.bson > /tmp/xx.json -- 可使用bsondump把bson格式的转为json格式后,使用mongoimport工具对单个表数据恢复也可以

备份world库

$ mongodump -uroot -proot123 --port 27017 --authenticationDatabase admin -d world -o /mongodb/backup/

备份oldboy库下的log集合

$ mongodump -uroot -proot123 --port 27017 --authenticationDatabase admin -d oldboy -c log -o /mongodb/backup/

压缩备份

$ mongodump -uroot -proot123 --port 27017 --authenticationDatabase admin -d oldguo -o /mongodb/backup/ --gzip

mongodump-uroot -proot123 --port 27017 --authenticationDatabase admin -o /mongodb/backup/ --gzip

$ mongodump-uroot -proot123 --port 27017 --authenticationDatabase admin -d app -c vast -o /mongodb/backup/ --gzip

恢复world库

$ mongorestore -uroot -proot123 --port 27017 --authenticationDatabase admin -d world /mongodb/backup/world

# 注意: 恢复时,如要恢复库则目录指到库目录, 表则指到表名.bson

恢复oldguo库下的t1集合

[mongod@db03 oldboy]$ mongorestore -uroot -proot123 --port 27017 --authenticationDatabase admin -d world -c t1 --gzip /mongodb/backup.bak/oldboy/log1.bson.gz

drop表示恢复的时候把之前的集合drop掉(危险)

$ mongorestore -uroot -proot123 --port 27017 --authenticationDatabase admin -d oldboy --drop /mongodb/backup/oldboy

8.7 mongodump和mongorestore高级企业应用(--oplog)

注意：这是replica set或者master/slave模式专用--oplog

use oplogfor taking a point-in-time snapshot

# oplog类似于mysql中的binlog, 能记录数据库上发生的所有操作

# mongodump --oplog的作用时在备份时会记录备份过程中新产生的数据到oplog.bson中,加上改参数会在执行目录下多出一个oplog.bson文件

8.7.1 oplog介绍

在replica set中oplog是一个定容集合(capped collection)，它的默认大小是磁盘空间的5%(可以通过--oplogSizeMB参数修改).

位于local库的db.oplog.rs，有兴趣可以看看里面到底有些什么内容。

其中记录的是整个mongod实例一段时间内数据库的所有变更(插入/更新/删除)操作。

当空间用完时新记录自动覆盖最老的记录。

其覆盖范围被称作oplog时间窗口。需要注意的是，因为oplog是一个定容集合，

所以时间窗口能覆盖的范围会因为你单位时间内的更新次数不同而变化。

想要查看当前的oplog时间窗口预计值，可以使用以下命令：

至少要求oplog的容量要能容纳下超过一个全备周期时长的log记录 或者 不定时备份oplog表

mongod-f /mongodb/28017/conf/mongod.conf

mongod-f /mongodb/28018/conf/mongod.conf

mongod-f /mongodb/28019/conf/mongod.conf

mongod-f /mongodb/28020/conf/mongod.conf

use local

db.oplog.rs.find().pretty()"ts" : Timestamp(1553597844, 1),"op" : "n" n应该代表的是查询类操作, op的类型值还有下面的几个, i u d c

"o": xx 此处就是具体的记录的信息了"i": insert"u": update"d": delete"c": db cmd

test:PRIMARY>rs.printReplicationInfo()　　# 可使用改命令预估当前业务场景配置的oplog容量能撑多久

configured oplog size:1561.5615234375MB

log length start to end: 423849secs (117.74hrs)

oplog firstevent time: Wed Sep 09 2015 17:39:50 GMT+0800(CST)

oplog lastevent time: Mon Sep 14 2015 15:23:59 GMT+0800(CST)

now: Mon Sep14 2015 16:37:30 GMT+0800 (CST)

8.7.2 oplog企业级应用

(1)实现热备，在备份时使用--oplog选项

注：为了演示效果我们在备份过程，模拟数据插入

(2)准备测试数据

[mongod@db01 conf]$ mongo--port 28018use oldboyfor(var i = 1 ;i < 100; i++) {

db.foo.insert({a:i});

}

my_repl:PRIMARY> db.oplog.rs.find({"op":"i"}).pretty()

oplog 配合mongodump实现热备

mongodump--port 28018 --oplog -o /mongodb/backup

作用介绍：--oplog 会记录备份过程中的数据变化。会以oplog.bson保存下来

恢复

mongorestore--port 28018 --oplogReplay /mongodb/backup

# oplogreplay参数会读取backup目录下的oplog.bson文件

# oplogReplay参数自带幂等性, 不会恢复出重复数据, 因oplog中记录的每个操作都有一个ts值, 类似于mysql中的gtid, 全局唯一

# 使用mongodump恢复数据时, 其首先会加载全备的数据,然后也会加载oplog中的数据.

8.8 oplog高级应用

背景：每天0点全备，oplog恢复窗口为48小时

某天，上午10点world.city 业务表被误删除。

恢复思路：0、停应用2、找测试库3、恢复昨天晚上全备4、截取全备之后到world.city误删除时间点的oplog，并恢复到测试库5、将误删除表导出，恢复到生产库

恢复步骤：

模拟故障环境：1、全备数据库

模拟原始数据

mongo--port 28017use wofor(var i = 1 ;i < 20; i++) {

db.ci.insert({a: i});

}

全备:

rm-rf /mongodb/backup/*mongodump --port 28018 --oplog -o /mongodb/backup

--oplog功能:在备份同时,将备份过程中产生的日志进行备份

文件必须存放在/mongodb/backup下,自动命令为oplog.bson

再次模拟数据

db.ci1.insert({id:1})

db.ci2.insert({id:2})

2、上午10点：删除wo库下的ci表

10:00时刻,误删除

db.ci.drop()

show tables;

3、备份现有的oplog.rs表

mongodump --port 28018 -d local -c oplog.rs -o /mongodb/backup

4、截取oplog并恢复到drop之前的位置

更合理的方法：登陆到原数据库

[mongod@db03 local]$ mongo --port 28018

my_repl:PRIMARY> use local

db.oplog.rs.find({op:"c"}).pretty();

{

"ts" : Timestamp(1553659908, 1),

"t" : NumberLong(2),

"h" : NumberLong("-7439981700218302504"),

"v" : 2,

"op" : "c",

"ns" : "wo.$cmd",

"ui" : UUID("db70fa45-edde-4945-ade3-747224745725"),

"wall" : ISODate("2019-03-27T04:11:48.890Z"),

"o" : {

"drop" : "ci"

}

}

获取到oplog误删除时间点位置:

"ts" : Timestamp(1553659908, 1)

5、恢复备份+应用oplog

[mongod@db03 backup]$ cd /mongodb/backup/local/

[mongod@db03 local]$ ls

oplog.rs.bson oplog.rs.metadata.json

[mongod@db03 local]$ cp oplog.rs.bson ../oplog.bson

rm -rf /mongodb/backup/local/

mongorestore --port 38021 --oplogReplay --oplogLimit "1553659908:1" --drop /mongodb/backup/

# 思路: 使用全备先把数据库恢复到最近的一次备份, 然后备份出来local库中的oplog.rs表, 该表中有数据库运行期间的所有数据,也包含有已备份的部分数据,

不过没关系, oplogreplay参数具有幂等性, 已存在的数据不会重复恢复.

如何加载备份出的oplog.rs文件呢?

例用oplogreplay参数的特性, 其会自动加载备份路径中的oplog.bson文件, 我们可以把备份出的oplog.sr改名为oplog.bson, 然后配合oploglimit

命令来控制其不恢复哪条操作来实现全数据的恢复. oploglimit后的值为ts对应的值.

8.9 分片集群的备份思路(了解)

1、你要备份什么？

config server

shard 节点

单独进行备份2、备份有什么困难和问题

(1)chunk迁移的问题

人为控制在备份的时候，避开迁移的时间窗口

(2)shard节点之间的数据不在同一时间点。

选业务量较少的时候

Ops Manager

66