MongoDB mongo-shake数据同步手册

已于 2022-09-15 22:30:20 修改
阅读量1k 收藏 1
点赞数 1
分类专栏： MongoDB运维 文章标签： mongodb 数据库 linux 运维 centos
于 2021-06-24 22:06:44 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_25241721/article/details/118197379
版权
本文详细介绍了MongoDB的数据同步操作，包括从副本集到副本集、副本集到分片集群以及分片集群到副本集的同步步骤。涉及创建同步用户、创建索引、编辑配置文件、启用同步及监控等关键环节。
摘要由CSDN通过智能技术生成

文章目录

MongoDB mongo-shake数据同步手册

1. 部署工具

下载mongo-shake二进制包：
# wget https://github.com/alibaba/MongoShake/releases/download/release-v2.6.4-20220414/mongo-shake-v2.6.4_2.tar.gz

解压到工作目录：
# tar xf mongo-shake-v2.6.4_2.tar.gz -C /data/third_party/

注：可下载压缩包进行解压使用，git网址为 https://github.com/alibaba/MongoShake/releases?spm=a2c6h.12873639.0.0.695e4a3dECwDcS ,进入界面，选择指定版本进行下载使用。

2. 同步场景

1. 副本集同步至副本集示例

1. 创建同步用户

                

                
                
        

        

    

  


        

            

                

                

                了解本专栏
                
                
                  
                订阅专栏 解锁全文
                 
                
                    
                    超级会员免费看
                
            

            
            
            
        

    

      

        

            

              
                
                  Zhi@Li
                
              
            

            

                关注
              
            

        

        

          
      

      

            

                专栏目录
          

                

                        订阅专栏
                









                



	

		

			

				
					
阿里mongo同步工具mongo-shake

				
			

			

				

					05-27
				

			

		

		

			
				
阿里mongo同步工具mongo-shake

			
		

	



                

              
                



	

		

			

				
					
MongoShake——基于MongoDB的跨数据中心的数据复制平台

				
			

			

				

					weixin_34235105的博客
				

				

					06-26
					
					444
					
				

			

		

		

			
				
摘要： MongoShake是基于MongoDB的通用型平台服务，作为数据连通的桥梁，打通各个闭环节点的通道。通过MongoShake的订阅消费，可以灵活对接以适应不同场景，例如日志订阅、数据中心同步、监控审计等。其中，集群数据同步作为核心应用场景，能够灵活实现灾备和多活的业务场景。背景在当前的数据库系统生态中，大部分系统都支持多个节点实例间的数据同步机制，如Mysql Master/Slave主...

			
		

	



                


  
              

                


	

		

			

				
					
Mongo-Shake：高效、灵活的MongoDB数据同步工具

				
			

			

				

					gitblog_00799的博客
				

				

					08-07
					
					789
					
				

			

		

		

			
				
Mongo-Shake：高效、灵活的MongoDB数据同步工具
 MongoShakeMongoShake is a universal data replication platform based on MongoDB's oplog. Redundant replication and active-active replication are two most important func...

			
		

	





	

		

			

				
					
MongoDB数据同步工具之 MongoShake

				
			

			

				

					cx136295988的博客
				

				

					07-15
					
					2343
					
				

			

		

		

			
				
之前360出的那个mongodb数据同步工具比较老，对于3.X版本的mongodb支持不太好。

阿里巴巴出了个MongoShake ， 目前可以支持到MongoDB4.X（我测试从mongodb3.2.16同步数据到mongodb4.0.4没问题）



官方地址：https://github.com/alibaba/MongoShake

中文介绍地址：https://yq.aliyun.com/articles/603329



具体的介绍，可以参考上面第二个链接。 实际原理类似于 我们...

			
		

	



		

			
		



	

		

			

				
					
mongo+mongo-shake 实现mongodb数据同步

				
			

			

				

					码农的专栏
				

				

					01-30
					
					2569
					
				

			

		

		

			
				
一、目标

mongodb 分片集群数据同步到副本集群 （db.product.tags 实现同步）



二、下载mongo-shake-v2.4.19.tar.gz

修改：collector.windows
====================================================================
sync_mode = all
mongo_urls = mongodb://192.168.1.100:4006;mongodb://192.168.1.1.

			
		

	





	

		

			

				
					
使用mongo shake实现单实例mongo之间的数据同步

				
			

			

				

					雅冰石的专栏
				

				

					12-28
					
					1910
					
				

			

		

		

			
				
一 实验环境





二 实验步骤

2.1 确保源端mongo已开启oplog

可参考单实例MongoDB 如何开启Oplog_雅冰石的专栏-CSDN博客

2.2 安装mongoshake

2.2.1 下载安装

Mongo shake下载地址：

Releases · alibaba/MongoShake · GitHub



cd /opt

tar -xvf mongo-shake-v2.4.16.tar.gz

mv mongo-shake-v2.4.16mongoshake

cd..

			
		

	





	

		

			

				
					
mongo-sync：同步远程和本地MongoDB数据库

				
			

			

				

					02-02
				

			

		

		

			
				
`mongo-sync`是一个基于Shell脚本的解决方案，它简化了在多个MongoDB实例之间同步数据的过程。通过使用这个工具，开发者可以快速地将远程数据库的状态复制到本地，从而避免了手动迁移大量数据的繁琐工作。这在迭代...

			
		

	





	

		

			

				
					
mongo-go-pagination：用于官方mongodbmongo-go-driver程序包的Golang Mongodb分页，它支持正常查询和聚合管道，并具有诸如总计记录，页面，每页，上一页，下一页，总计页面和查询结果之类的所有信息

				
			

			

				

					02-04
				

			

		

		

			
				
Golang Mongo分页包mongo-go-driver  对于所有对聚合管道的简单查询，这都是简单易用的分页驱动程序，其信息包括Total，Page，PerPage，Prev，Next，TotalPage和您的实际mongo结果。 安装 $ go get -u -v github....

			
		

	





	

		

			

				
					
mongo-shake-v2.2.1.tar.gz

				
			

			

				

					06-28
				

			

		

		

			
				
"mongo-shake"是针对MongoDB的数据迁移工具，主要用于在不同的MongoDB实例或集群之间进行数据同步。在这个场景中，我们关注的是mongo-shake的v2.2.1版本，它可能包含了一系列的改进和修复，以提升数据迁移的稳定性和...

			
		

	





	

		

			

				
					
MongoShake迁移同步MongoDB

				
			

			

				

					进阶的蜗牛
				

				

					08-18
					
					1421
					
				

			

		

		

			
				
MongoShake迁移同步mongo数据库


简介：

Mongo-Shake 由阿里云 Nosql 团队开发和维护。Mongo-Shake 是基于 MongoDB 的 oplog 的通用服务平台。它从源 mongo 数据库中获取 oplog，并在目标 mongo 数据库中重放或发送到不同隧道的其他端。如果目标端是mongo数据库，即直接replay oplog，它就像一个同步工具，用于将数据从源MongoDB复制到另一个MongoDB，以构建冗余复制或双活复制。

除了...

			
		

	





	

		

			

				
					
数据同步工具MongoShake

				
			

			

				

					雪辉博客
				

				

					03-24
					
					2276
					
				

			

		

		

			
				
文章目录一、MongoShake1.1 MongoShake简介1.2 应用场景1.3  基本特性二、方案2.1 多活方案2.2 容灾方案三、验证3.1 环境介绍3.2 功能验证3.2.1 多活验证3.2.2 容灾验证四、问题总结
一、MongoShake
1.1 MongoShake简介
  MongoShake是一个以go语言编写的通用的平台型服务，通过读取MongoDB集群的Oplog日志，对MongoDB的数据进行复制，后续通过操作日志实现特定需求。
  MongoShake从源库抓取oplog数据

			
		

	





	

		

			

				
					
MongoShake：数据迁移之王，MongoDB领域的绝对霸主，让数据轻松穿梭无边界！

				
			

			

				

					qq_34692500的博客
				

				

					05-14
					
					952
					
				

			

		

		

			
				
简介  MongoShake 是一个用于 MongoDB 数据库的数据复制工具，它可以实现 MongoDB 数据库之间的数据同步、迁移和备份。以下是 MongoShake 的主要作用：数据同步：MongoShake 可以将一个 MongoDB 数据库中的数据实时同步到另一个 MongoDB 数据库，保持数据的一致性。这对于构建多数据中心架构、实现高可用性和灾难恢复非常有用。数据迁移：Mong...

			
		

	





	

		

			

				
					
走进MongoShake

				
			

			

				

					阿里云技术
				

				

					03-29
					
					557
					
				

			

		

		

			
				
简介： 阿里云数据库NoSQL团队技术专家烛昭在阿里云开发者社区特别栏目《周二开源日》直播中，介绍了MongoShake的基本原理，并结合典型的应用案例介绍MongoShake的应用场景。本文为直播内容文字整理，看直播回放，请点击文首链接~

查看精彩回放：https://developer.aliyun.com/live/45078

内容简要

一、背景

二、MongoShake基本原理

三、经典案例



一、背景

（一）MongoDB基本概念

MongoDB基本概念主要有三个：Oplog、.

			
		

	





	

		

			

				
					
mongoshake同步mongodb数据到kafka

				
			

			

				

					congge
				

				

					02-19
					
					7266
					
				

			

		

		

			
				
mongoshake同步mongodb数据到kafka

			
		

	





	

		

			

				
					
Mongodb mongoshake  数据同步方案与搭建一个简单的测试环境，与不同版本数据同步问题...

				
			

			

				

					sql server的专栏
				

				

					05-25
					
					909
					
				

			

		

		

			
				
MONGODB 数据库在很多应用场景中都有需要进行数据同步的方案需求1多数据中心数据同步方案2 数据灾备方案3 多点数据写入与数据最终一致性方案这些方案中不可或缺的就是mongoshake 组件，mongoshake是阿里云NOSQL团队TEAM 开发的一款针对与通用性服务平台的产品，通过对mongodb的oplog进行读取将源于目的的MOGNODB 数据库...

			
		

	





	

		

			

				
					
mongodb 集群shard_使用DynamoShake从dynamodb迁移到mongodb

				
			

			

				

					weixin_36444484的博客
				

				

					12-11
					
					209
					
				

			

		

		

			
				
简介： 去年和今年年初，我们开源了MongoShake和RedisShake分别用于MongoDB和Redis的迁移、同步、备份等多种需求。最近，我们的shake系列又进一步壮大，我们推出了一款dynamodb迁移的工具：dynamo-shake。目前支持从dynamodb迁移到MongoDB，后续我们还会考虑支持多种通道，比如直接文件备份、迁移至kafka，或者迁移到别的数据库如cassandr...

			
		

	





	

		

			

				
					
mongo数据库分片技术的实现

				
			

			

				

					jackyxwr的专栏
				

				

					06-28
					
					3992
					
				

			

		

		

			
				
近期在使用mongod数据库时，由于数据量较大，每天数据量达到近亿条数据，所以采取了mongo数据库的分片技术，这里对这几天下来的开发做个总结。
下面以分两个分片进行说明，如果要进行分两片，那么必须要有四个目录，每个目录都要有
MongoDB的实例，其中两个用于存储数据，一个用于配置服务器，一个用于mongos服务器的启动，而我们（客户端）与数据库打交道即是通过mongos服务器进行的。原有配

			
		

	





	

		

			

				
					
找不到依赖项 'org.mongodb:mongo-java-driver:'

					
最新发布

				
			

			

				

					09-12
				

			

		

		

			
				
当你遇到 '找不到依赖项 'org.mongodb:mongo-java-driver:' 的错误，这通常意味着你在构建项目或运行程序时，尝试使用的Maven、Gradle或其他包管理工具无法找到MongoDB Java驱动的库。这个驱动是用于与MongoDB数据库交互的重要组件。

原因可能有：
1. **未添加依赖**：你可能忘记在项目的pom.xml（Maven）或build.gradle（Gradle）文件中添加对`mongo-java-driver`的依赖声明。
2. **版本冲突**：如果你同时引用了多个版本的MongoDB驱动，可能会导致某个依赖不可见。
3. **网络问题**：如果从中央仓库下载依赖失败，也可能导致找不到依赖。
4. **路径问题**：检查本地仓库（如Maven本地仓库或Gradle缓存）是否包含所需的jar文件。

解决办法可以是：
1. **添加依赖**：确认并添加正确的依赖到你的构建配置文件，例如在Maven中添加 `<dependency>` 标签：
   ```xml
   <dependency>
       <groupId>org.mongodb</groupId>
       <artifactId>mongo-java-driver</artifactId>
       <version>版本号</version>
   </dependency>
   ```
2. **指定确切版本**：确保指定了具体的驱动版本，避免版本解析冲突。
3. **修复网络**：确保网络连接正常，并尝试清理并重新同步依赖。
4. **手动下载**：如果网络问题严重，可以从MongoDB官网或者其他可靠的源直接下载JAR文件并添加到项目中。

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  





	
打赏作者

	

		

		
			
		
		

		

			
Zhi@Li

			
你的鼓励将是我创作的最大动力

		

	

	

			

	

	

    ¥1
    ¥2
    ¥4
    ¥6
    ¥10
    ¥20
	

	

		

			

				

					扫码支付：¥1
				

				

					

					
					获取中
					

				

				

					
					
					扫码支付
				

			

		

		

			
您的余额不足，请更换扫码支付或充值

			
打赏作者

		

	



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值