jacobxian-CSDN博客

原创 mysql按照每个表一个备份文件的逻辑备份脚本和检查报警脚本

下面脚本是备份脚本:1.首先通过information_schema.tables获取所有数据库名称2.然后根据日期创建临时备份目录,根据数据库名进行循环,获取每个数据库下面的表名集合3.然后进行循环备份.按照表级备份完成后4.然后进行压缩和删除.5.最后进行写日志操作,方便出错预警和定位问题6.注意事项:一定要谨记,备份命令加上–single-transaction参数可以不锁定表导...

2020-01-10 09:59:39 255

原创安装TiDB的mydumper报required 'glib-2.0' found

公司采用mysql,mongodb,es,redis等数据库和NoSQL产品,需要集中所有数据到中间库TiDB,为以后数据仓库抽取数据做好准备.在TiDB官网下载mydumper软件,https://github.com/maxbube/mydumper解压后,按照官方文档 cmake . ,然后 make ,最后 make installcentos 7.6版本,TiDB mydumpe...

2019-12-26 11:46:49 661

原创 mongodb安装副本集集群步骤

1.下载和解压在官网下载:上传到服务器,解压,然后配置环境变量:2.参数设置如下：bind_ip = 0.0.0.0port = 27017fork = truepidfilepath = /data0/mongodb/data/mongodb.pidlogpath = /data0/mongodb/log/mongodb.logdbpath = /data0/mongodb/d...

2019-12-20 17:23:03 183

原创 mongodb副本集强制其中一个节点为主库并重做副本集集群

在mongodb副本集集群中,若是丢失了n/2+1个节点,也就是失去了多数节点时候,在集群内无法投票表决省下的节点谁能当主库,那就需要强制其中一个节点为主库.下面是操作步骤:1.执行cfg=rs.conf()2.需要设置需要的_id为主库，cfg.members=[cfg.members[3]]3.执行集群重新设置4.rs.reconfig(cfg, {force: true});5...

2019-12-20 16:50:57 2486

原创使用python和snapshot备份ElasticSearch索引数据

该python备份snapshot的索引数据脚本,通过Elasticsearch连接es,然后通过es.indices.get_alias函数获取所有索引名称,通过列表的startswith函数剔除.开头的自带索引名称,然后把所有索引名称放到字符串.通过es.snapshot.create_repository创建快照仓库,通过es.snapshot.create函数完成快照备份.下面是详细...

2019-12-18 20:57:41 906

原创 ElasticSearch 6.3版本(ES)查询人名关键字不拆词查询

ElasticSearch 6.3版本(ES)查询关键字不拆词查询:类似mysql 的 like 语句.若是afterContent只是包含钟永,查询钟永初不会返回该文档.采用match_phrase短语匹配模式,下面是标准的DSL查询语言,GET xyz_test/_search{“query”:{“bool”:{“must”:[{“match_phrase”:{ “a...

2019-12-17 09:19:49 4351

原创阿里云mongodb备份还原预案(物理还原)

1.按照时间点创建新的实例根据找到丢失的实例，选择《备份与恢复》，然后点击《按照时间点新建实例》，选择需要恢复的时间点，然后选择补发数据库，点击确定提交。2.选择副本集（按量付费），3.选择A+B+C区和1核2G，当然，这个1核2G需要根据恢复还原的数据量需要来选择。4.输入密码和点击立即购买5.进行下一步，点击同意协议，进行购买。6.待还原成功，目前还原需要18分钟。7.开...

2019-12-06 10:16:44 610

原创阿里云mongodb逻辑备份还原预案和恢复oplog增量数据

总结:通过DBS恢复到ECS自建数据库,耗费51分钟,从ECS自建数据库通过DTS迁移数据到阿里云mongodb耗费5分钟.总耗时大概在60分钟以内.通过阿里云DBS恢复mongodb集合的操作步骤:一:点击下面DBS的备份计划:二:点击“恢复数据库”三:填写需要恢复的时间点,选择ECS自建数据库,输入端口,账号和密码,测试通过四:按需要恢复数据集合,可以恢复整个数据库,或者其中...

2019-12-06 10:00:12 717

原创 ElasticSearch使用snapshot通过阿里云OSS迁移方案

一:在源es创建快照仓库,需要在Dev tools下执行:PUT _snapshot/backup{“type”: “oss”,“settings”: {“endpoint”: “http://.aliyuncs.com",“access_key_id”: "",“secret_access_key”: "********”,“bucket”: “qdy-es-backup”,“...

2019-12-05 20:04:52 686

jacobxian的博客