基于Docker搭建mongodb集群(副本集模式)


Master:代表主节点,主节点提供所有数据的CRUD服务
Backup:代表从节点,从节点不提供任何服务
Arbitration:代表仲裁节点,仲裁节点不存储任何数据,客户点可以同时连接主节点和备份节点,但是不连接仲裁节点
我们在进行数据操作的时候,我们可以将增删改请求交给主节点,查询交给备份节点,这样减少主节点压力
原理图:
在这里插入图片描述

拉取MONGODB镜像

docker pull mongo

以挂载方式创建容器

##创建路径(依次创建四个文件夹,db,db_bk,db_arb,log)

mkdir /root/mongodb/db
mkdir /root/mongodb/db_bk
mkdir /root/mongodb/db_arb
mkdir /root/mongodb/log

##以挂载方式创建容器

docker run -d --name mongo_master -v /root/mongodb/db:/data/db -v /root/mongodb/log:/data/log/log.log -p 27017:27017 mongo --replSet mongo_clus
docker run -d --name mongo_bk -v /root/mongodb/db_bk:/data/db -v /root/mongodb/log:/data/log/log_bk.log -p 27018:27017 mongo --replSet mongo_clus
docker run -d --name mongo_arb -v /root/mongodb/db_arb:/data/db -v /root/mongodb/log:/data/log/log_arb.log -p 27019:27017 mongo --replSet mongo_clus

配置信息说明
replSet:设置集群名称

启动主节点容器

docker start mongo_master

进入容器

docker exec -it mongo_master bash

#进入mongo

mongo

创建集群

cfg={_id:"mongo_clus",members:[{_id:0,host:"192.168.250.127:27017",priority:2},{_id:1,host:"192.168.250.127:27018",priority:1},{_id:2,host:"192.168.250.127:27019",arbiterOnly:true}]}
rs.initiate(cfg)

配置信息说明
cfg:任意名字
_id:副本集名字
members:代表集群里面的节点
_id:节点唯一ID
host:节点地址
priority:优先等级,数值越大优先级越高,最高为主节点,其他为副本集
arbiterOnly:仲裁节点,必须设置,属性设置为true

查看集群状态

rs.status()

mongodb客户端连接工具

https://nosqlbooster.com/downloads

常用命令

显示数据库

show dbs 

选择和创建数据库(如果数据库不存在则自动创建)

use  数据库名称

显示表(集合)

show collections

插入文档

db.集合名称.insert(数据)

查看表(集合)下的文档数据

db.集合名称.find()

按条件查询(参数为json)

db.集合名称.find(参数)

返回符合条件的第一条数据(参数为json)

db.集合名称.findOne(参数)

返回指定条数的记录

db.集合名称.find().limit(条数)

修改文档(条件和修改后的数据为json)

db.集合名称.update(条件,{$set:修改后的数据})

删除文档(条件为json)

db.集合名称.remove(条件)

删除全部文档,请慎用

db.集合名称.remove({})

统计条数

db.集合名称.count()

按条件统计条数(条件为json)

db.集合名称.count(条件)

聚合查询

db.集合名称.aggregate([
    {管道:{表达式}}
     ....
])

常用管道:
$group 将集合中的文档分组,用于统计结果
$match 过滤数据,只要输出符合条件的文档
$sort 聚合数据进一步排序
$skip 跳过指定文档数
$limit 限制集合数据返回文档数
常用表达式
$sum 总和 $sum:1同count表示统计
$avg 平均
$min 最小值
$max 最大值

mongodb失效的机制, 为集合创建一个indexes(索引)

db.集合名称.ensureIndex( { "Date": 1 }, { expireAfterSeconds: 10 } )

然后确保每次插入数据的时候有Date这列,mongodb将会自动为你删除该列

自定义自增列

function getNextSequenceValue(sequenceName){
   var sequenceDocument = db.集合名称.findAndModify(
      {
         query:{_id: sequenceName },
         update: {$inc:{sequence_value:1}},
         "new":true
      });
   return sequenceDocument.sequence_value;
}

db.集合名称.insert({
   "_id":getNextSequenceValue("productid"),
   "product_name":"Apple iPhone",
   "category":"mobiles"})
  • 0
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: 要基于Docker搭建Hadoop集群,您需要遵循以下步骤: 1. 安装Docker:您需要在所有节点上安装Docker。可以通过Docker官方文档来了解如何在您的操作系统上安装Docker。 2. 创建Docker镜像:您需要创建包含Hadoop的Docker镜像。您可以使用Dockerfile来创建镜像,并在其中安装所需的软件包。 3. 创建Docker容器:一旦您创建了Docker镜像,您需要在每个节点上创建Docker容器。您可以使用Docker命令来创建容器。 4. 配置Hadoop集群:您需要配置Hadoop集群,以便每个节点都能够与其他节点通信。您需要编辑Hadoop配置文件,如core-site.xml和hdfs-site.xml,并指定节点的IP地址和端口号。 5. 启动Hadoop集群:最后,您需要启动Hadoop集群。您可以使用启动脚本启动Hadoop集群。 在完成这些步骤后,您应该已经成功地在基于Docker的Hadoop集群上设置了分布式计算环境。 ### 回答2: 随着大数据技术的发展,hadoop已经成为了很多企业的首选,但是hadoop的部署和维护是一件非常繁琐的事情,需要很多经验和技巧。为了简化这个过程,很多人开始尝试将hadoop集群部署在docker容器中。 Docker是一个开源的容器化平台,可以轻松地部署和运行各种应用程序。Docker的容器可以在任何运行Docker的机器上运行,这使得hadoop的集群可以很容易地部署在任何地方。 基于docker搭建hadoop集群的步骤如下: 1. 安装Docker 首先需要在每台机器上安装Docker。安装过程可以参考Docker官方文档。 2. 创建docker镜像 在第一台机器上创建一个docker镜像,这个镜像可以包含我们需要的hadoop环境。 可以通过Dockerfile创建这个镜像,并且在 Dockerfile 中指定需要的软件包和配置。这个镜像可以包含hadoop,jdk等组件。 3. 部署容器 在第一台机器上使用这个docker镜像创建一个容器,这个容器就是hadoop的NameNode。可以指定hadoop的配置文件,并且可以将hadoop的数据目录挂载到本地硬盘上。 同时,在其他机器上也创建容器,这些容器就是hadoop的DataNode。 4. 启动hadoop服务 启动NameNode容器后,需要进入容器内部,启动hadoop服务。使用hadoop dfsadmin -report 命令可以查看hadoop集群的状态。 5. 配置hadoop集群 hadoop的配置文件可以在NameNode容器内修改,也可以将配置文件挂载到容器内部。配置文件的修改可以通过修改Dockerfile或者手动修改容器内的文件来完成。 一些hadoop集群相关的配置信息需要在hadoop-env.sh,hdfs-site.xml和core-site.xml等文件中进行修改。 6. 测试hadoop集群 在hadoop集群启动后,可以使用hdfs dfs -ls / 命令来测试hadoop集群的正常运行。 基于docker搭建hadoop集群的优点在于部署和维护都非常方便,同时可以快速地扩展集群Docker容器可以很容易地在不同的主机上运行,并且可以保证集群的统一性。 ### 回答3: Docker是一种轻量级的容器化技术,可以方便快捷地搭建、运行、迁移和管理软件应用,而Hadoop是目前广泛应用于大数据处理和分析的开源平台,使用Hadoop可以有效地解决数据分析和处理的瓶颈问题。基于Docker搭建Hadoop集群,可以实现快速部署与运维,提高集群的可维护性和可扩展性,同时也可以降低运行成本。 以下是基于Docker搭建Hadoop集群的步骤: 1. 安装Docker:首先需要在主机上安装Docker运行环境。 2. 下载Hadoop镜像:从Docker Hub上下载Hadoop镜像,并创建一个自定义的网络。 3. 创建Hadoop节点容器:创建一个Hadoop节点容器,并在其内部配置Hadoop环境变量。 4. 配置Hadoop:配置Hadoop集群的核心配置文件core-site.xml、hdfs-site.xml、yarn-site.xml和mapred-site.xml等。 5. 启动Hadoop集群:使用start-dfs.sh和start-yarn.sh脚本启动Hadoop集群,查看配置是否生效。 6. 部署应用程序:将应用程序放入Hadoop集群中的HDFS文件系统,使用yarn命令启动应用程序。 7. 监控和维护:使用Hadoop的监控和管理工具,对集群进行监控和维护。 基于Docker搭建的Hadoop集群具有很多优点,如环境准备简单、扩展性强、可移植性高、资源利用率高等,同时也需要注意安全性和稳定性的问题。在实际应用中,可以根据实际需求,对集群进行灵活配置和管理,以便更好地支持大数据处理和分析任务的需求。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值