Mong部署

最新推荐文章于 2024-10-08 12:28:38 发布
置顶 最新推荐文章于 2024-10-08 12:28:38 发布
阅读量234 收藏
点赞数
文章标签： mongodb
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42590736/article/details/105393449
版权

MongoDB WT 存储引擎部署方案

集群规划

假设集群包含以下服务器

  • 192.168.0.17 Mongo01，以下简称 17

  • 192.168.0.18 Mongo02，以下简称 18

  • 192.168.0.19 Mongo03，以下简称 19

  • 192.168.0.16 Mongo04，以下简称 16

  • 192.168.0.14 Mongo05，以下简称 14

  • 192.168.0.15 Mongo06，以下简称 15

集群模型

组件服务器端口
Mongos17、18、1910000
Cofig Server17、18、1911000
Shard117(master)、16(slave)、14(arbitrate)11001
Shard218(master)、14(slave)、15(arbitrate)11002
Shard319(master)、15(slave)、16(arbitrate)11003

MongoDB 3.4 高可用集群搭建（三）shard 分片

MongoDB分片（Sharding）技术

MongoDB-分片片键

Mongodb3.2.8全面开战之实战篇

部署

  1. 创建目录

17~19

cd /data/mongo && mkdir -p config/{data,log} mongos/log

14~19

cd /data/mongo && mkdir -p shard{1,2,3}/{data,log}
  1. 创建配置文件（检查 mongos.conf 中的 port 和 configDB 以及 shard1.conf、shard2.conf、shard3.conf 中的 port）

14~19

mkdir -p /data/mongo/mongodb-linux-x86_64-rhel62-3.2.7/conf

17~19 创建 /data/mongo/mongodb-linux-x86_64-rhel62-3.2.7/conf/{config.conf,mongos.conf,shard1.conf,shard2.conf,shard3.conf}

config.conf

systemLog:
 destination: file
###日志存储位置
 path: /data/mongo/config/log/config.log
 logAppend: true
storage:
##journal配置
 journal:
  enabled: true
##数据文件存储位置
 dbPath: /data/mongo/config/data/
##是否一个库一个文件夹
 directoryPerDB: true
##数据引擎
 engine: wiredTiger
##WT引擎配置
 wiredTiger:
  engineConfig:
##WT最大使用cache（根据服务器实际情况调节）
   cacheSizeGB: 8
##是否将索引也按数据库名单独存储
   directoryForIndexes: true
##表压缩配置
  collectionConfig:
   blockCompressor: zlib
##索引配置
  indexConfig:
   prefixCompression: true
##端口配置
net:
 port: 11000
##分片配置
sharding:
##分片角色
 clusterRole: configsvr

mongos.conf

##日志配置
systemLog:
 destination: file
##日志位置
 path: /data/mongo/mongos/log/mongos.log
 logAppend: true
##网路配置
net:
##端口配置
 port: 10000
##分片配置
sharding:
##指定config server
 configDB: 192.168.0.17:11000,192.168.0.18:11000,192.168.0.19:11000

shard1.conf

systemLog:
 destination: file
###日志存储位置
 path: /data/mongo/shard1/log/shard1.log
 logAppend: true
storage:
##journal配置
 journal:
  enabled: true
##数据文件存储位置
 dbPath: /data/mongo/shard1/data/
##是否一个库一个文件夹
 directoryPerDB: true
##数据引擎
 engine: wiredTiger
##WT引擎配置
 wiredTiger:
  engineConfig:
##WT最大使用cache（根据服务器实际情况调节）
   cacheSizeGB: 8
##是否将索引也按数据库名单独存储
   directoryForIndexes: true
##表压缩配置
  collectionConfig:
   blockCompressor: zlib
##索引配置
  indexConfig:
   prefixCompression: true
##端口配置
net:
 port: 11001
replication:
##oplog大小
 oplogSizeMB: 40960
##复制集名称
 replSetName: shard1
##分片配置
sharding:
##分片角色
 clusterRole: shardsvr

shard2.conf

systemLog:
 destination: file
###日志存储位置
 path: /data/mongo/shard2/log/shard2.log
 logAppend: true
storage:
##journal配置
 journal:
  enabled: true
##数据文件存储位置
 dbPath: /data/mongo/shard2/data/
##是否一个库一个文件夹
 directoryPerDB: true
##数据引擎
 engine: wiredTiger
##WT引擎配置
 wiredTiger:
  engineConfig:
##WT最大使用cache
   cacheSizeGB: 8
##是否将索引也按数据库名单独存储
   directoryForIndexes: true
##表压缩配置
  collectionConfig:
   blockCompressor: zlib
##索引配置
  indexConfig:
   prefixCompression: true
##端口配置
net:
 port: 11002
replication:
##oplog大小
 oplogSizeMB: 40960
##复制集名称
 replSetName: shard2
##分片配置
sharding:
##分片角色
 clusterRole: shardsvr

shard3.conf

systemLog:
 destination: file
###日志存储位置
 path: /data/mongo/shard3/log/shard3.log
 logAppend: true
storage:
##journal配置
 journal:
  enabled: true
##数据文件存储位置
 dbPath: /data/mongo/shard3/data/
##是否一个库一个文件夹
 directoryPerDB: true
##数据引擎
 engine: wiredTiger
##WT引擎配置
 wiredTiger:
  engineConfig:
##WT最大使用cache（根据服务器实际情况调节）
   cacheSizeGB: 8
##是否将索引也按数据库名单独存储
   directoryForIndexes: true
##表压缩配置
  collectionConfig:
   blockCompressor: zlib
##索引配置
  indexConfig:
   prefixCompression: true
##端口配置
net:
 port: 11003
replication:
##oplog大小
 oplogSizeMB: 40960
##复制集名称
 replSetName: shard3
##分片配置
sharding:
##分片角色
 clusterRole: shardsvr

14~16 创建 /data/mongo/mongodb-linux-x86_64-rhel62-3.2.7/conf/{shard1.conf,shard2.conf,shard3.conf}

  1. 启动服务

17

cd /data/mongo/mongodb-linux-x86_64-rhel62-3.2.7 && \
bin/mongod -f conf/config.conf --fork && \
bin/mongos -f conf/mongos.conf --fork && \
bin/mongod -f conf/shard1.conf --fork

18

cd /data/mongo/mongodb-linux-x86_64-rhel62-3.2.7 && \
bin/mongod -f conf/config.conf --fork && \
bin/mongos -f conf/mongos.conf --fork && \
bin/mongod -f conf/shard2.conf --fork

19

cd /data/mongo/mongodb-linux-x86_64-rhel62-3.2.7 && \
bin/mongod -f conf/config.conf --fork && \
bin/mongos -f conf/mongos.conf --fork && \
bin/mongod -f conf/shard3.conf --fork

14

cd /data/mongo/mongodb-linux-x86_64-rhel62-3.2.7 && \
bin/mongod -f conf/shard1.conf --fork && \
bin/mongod -f conf/shard2.conf --fork

15

cd /data/mongo/mongodb-linux-x86_64-rhel62-3.2.7 && \
bin/mongod -f conf/shard2.conf --fork && \
bin/mongod -f conf/shard3.conf --fork

16

cd /data/mongo/mongodb-linux-x86_64-rhel62-3.2.7 && \
bin/mongod -f conf/shard1.conf --fork && \
bin/mongod -f conf/shard3.conf --fork
  1. 配置分片
# shard1
$ /data/mongo/mongodb-linux-x86_64-rhel62-3.2.7/bin/mongo -port 11001 admin
mongos> rs.initiate({_id:"shard1",members:[{_id:0,host:"192.168.0.17:11001"},{_id:1,host:"192.168.0.16:11001"},{_id:2,host:"192.168.0.14:11001",arbiterOnly:true}]});

# shard2
$ /data/mongo/mongodb-linux-x86_64-rhel62-3.2.7/bin/mogno -port 11002 admin
mongos> rs.initiate({_id:"shard2",members:[{_id:0,host:"192.168.0.18:11002"},{_id:1,host:"192.168.0.14:11002"},{_id:2,host:"192.168.0.15:11002",arbiterOnly:true}]});

# shard3
$ /data/mongo/mongodb-linux-x86_64-rhel62-3.2.7/bin/mongo -port 11003 admin
mongos> rs.initiate({_id:"shard3",members:[{_id:0,host:"192.168.0.19:11003"},{_id:1,host:"192.168.0.15:11003"},{_id:2,host:"192.168.0.16:11003",arbiterOnly:true}]});

# mongos
$ /data/mongo/mongodb-linux-x86_64-rhel62-3.2.7/bin/mongo -port 10000 admin
mongos> db.runCommand({addshard:"shard1/192.168.0.17:11001,192.168.0.16:11001,192.168.0.14:11001"});
mongos> db.runCommand({addshard:"shard2/192.168.0.18:11002,192.168.0.14:11002,192.168.0.15:11002"});
mongos> db.runCommand({addshard:"shard3/192.168.0.19:11003,192.168.0.15:11003,192.168.0.16:11003"});

通过rs.status()查看分片配置

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-4m2wmCBP-1586339777184)(\images\rs_status.jpg)]

  1. 使分片在 bill 库生效，并对集合 bill 的 msg_id 字段创建哈希片键
$ /data/mongo/mongodb-linux-x86_64-rhel62-3.2.7/bin/mongo -port 10000 admin
mongos> db.runCommand({enablesharding:"bill"})
mongos> db.runCommand({shardcollection:"bill.bill",key:{"msg_id":"hashed"}})

哈希分片的片键只能使用单个字段，不能是复合的。

哈希分片的特点是均匀。好处是使数据均匀分布到各个节点，把“写”的压力分散给集群里更多的服务器，充分扩展“写”的能力。缺点是“读”的节点比较多，查询效率相对较低。

创建分片后 MongoDB 会自动生成该片键的索引，通过sh.status()查看分片信息

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-9TvzfBT1-1586339777185)(\images\sh_status.jpg)]

  • 查看分片信息

    mongos> db.shards.find()

  • 查看数据库是否启用分片

    db.databases.find()

    partitioned 是否启用分片

  1. 关于索引

  • 创建

    替换 COllECTION_NAME

    mongos> db.COllECTION_NAME.createIndex({})

    目前生产上 bill 集合使用的索引有：

    mongos> db.COllECTION_NAME.createIndex({"msg_id":"hashed"},{"unique":false,"sparse":true})
mongos> db.COllECTION_NAME.createIndex({"msg_id":1, "mobile":1, "msgseq":1},{"unique":false,"sparse":true})
mongos> db.COllECTION_NAME.createIndex({"ec_id":1, "mobile":1, "ap_submit_time":-1},{"unique":false,"sparse":true})
mongos> db.COllECTION_NAME.createIndex({"status":1},{"unique":false,"sparse":true})
mongos> db.COllECTION_NAME.createIndex({"ec_id":1, "ap_submit_time":-1},{"unique":false,"sparse":true})
mongos> db.COllECTION_NAME.createIndex({"international":1},{"unique":false,"sparse":true})
mongos> db.COllECTION_NAME.createIndex({"ec_id":1,"ap_id":1,"src_type":1,"sms_type":1,"sign_id":1,"src_id":1,"local":1,"status":1,"report":1},{"unique":false,"sparse":true})

  • 查询

    mongos> db.COllECTION_NAME.getIndexes()

    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-kUS6Ka43-1586339777186)(\images\getIndexes.jpg)]

  • 删除

    替换 INDEX_NAME

    INDEX_NAME 由以上查询命令 getIndexes() 获得

    mongos> db.COllECTION_NAME.dropIndex("INDEX_NAME")

参考文档

MongoDB 备份与还原 mongodump、mongorestore

Mongo Shell Methods

奔放丶
关注
mongodb部署linux,mongodb在Linux下部署
weixin_26985923的博客
05-25 1174
1、下载上传mongodb安装文件，创建mongodb的安装路径在路径下https://www.mongodb.org/dl/linux下载需要的mongodb安装版本，我下载的是linux4.0.0版下载到本地后，使用ftp将文件上传到linux服务器上，当然你也可以用其他方式上传。新建一个mongodb文件夹解压压缩文件，并移动到mongodb文件夹下，执行如下命令tar -zxvf mong...
docker 离线部署 mongodb
ljy啊虎的博客
04-21 649
docker 离线部署 mongodb
mongodb部署副本集
m0_61289433的博客
10-28 2736
mongodb部署副本集
MongoDB Connector for BI安装部署
W1124824402的博客
06-01 1626
MongoDB Connector for BI是一个工具，可以让mongodb的库在mongosqld可以以sql的方式查询了使用SQL语句执行各种查询操作，包括聚合、过滤、排序等。这样可以利用已有的BI工具和技能来分析和可视化MongoDB中的数据。
Docker详细完整部署教学（cnetos7）
m0_58820104的博客
11-29 1193
是一个开源的容器化平台，用于构建、分发和运行应用程序。它以容器的形式打包应用程序及其所有依赖项，使其可以在任何环境中以相同的方式运行，无论是开发者的笔记本电脑、测试服务器还是生产环境。
Mongodb4.4.1分片集群部署
carcoon的专栏
11-19 2591
1.环境规划 IP 实例 172.26.1.7 mongos（30000）config（27017）shard1主节点（40001）shard2仲裁节点（40002）shard3副节点（40003） 172.26.1.8 mongos（30000）config（27017）shard1副节点（40001）shard2主节点（40002）shard3仲裁节点（40003） 172.26.1.9 mongos（30000）config（27017）shard1仲裁节点（40001）sha
环境配置——Crawlab部署教程
含笑
09-23 2660
Crawlab部署教程 1. 部署的方式 部署的方式很多种，我这里用最简单的docker部署，没有安装的可以先安装docker 2. 下载 Crawlaw镜像 安装完docker后，直接下载crawlab镜像 docker pull tikazyq/crawlab:latest 3. 安装 Docker-Compose 安装 docker-compose 其实比较简单，在安装了 pip 的情况下（Python 3），执行以下命令。 pip3 install docker-compose 4. 安装并启动
MongoDB4.4版本源码部署分片集群
weixin_39595901的博客
10-13 706
MongoDB4.4版本源码部署分片集群
灯塔资产系统（ARL）部署
热门推荐
m0_46736332的博客
07-16 2万+
ARL(Asset Reconnaissance Lighthouse)资产侦察灯塔系统旨在快速侦察与目标关联的互联网资产，构建基础资产信息库。 协助甲方安全团队或者渗透测试人员有效侦察和检索资产，发现存在的薄弱点和攻击面。 这是一个非常棒的信息收集工具，特别是在挖掘src漏洞的时候，前期的信息收集，个人感觉这款系统效果显著。集成于web界面，指纹识别，fofa采集，敏感泄露，子域名，c段，截图等…各种功能。 作者的一次部署流程，希望可以帮助到准备搭建的小伙伴。 很基础， 从docker的安装到arl的
mong分片配置.zip
10-31
本压缩包 "mong分片配置.zip" 内包含的是配置文件，可能用于搭建 MongoDB 分片集群。 首先，我们来理解一下 MongoDB 的分片概念。分片是将数据集分割成多个片段（Chunks），每个片段存储在不同的物理节点（称为分片...
为首次部署MongoDB做好准备：容量计划和监控
03-03
如果你已经完成了自己新的MongoDB应用程序的开发，并且现在正准备将它部署进产品中，那么你和你的运营团队需要讨论一些关键的问题：1....监控、索引、调整和备份等内容的流程和最佳实践可以应用到Mong
mong-fake-data:蒙哥假数据
04-04
您的应用已准备好进行部署！ 有关更多信息，请参见关于的部分。 npm run eject 注意：这是单向操作。 eject ，您将无法返回！ 如果您对构建工具和配置选择不满意，则可以随时eject 。 此命令将从您的项目中删除...
kubernetes1.6中redis-mong-zookeepe-rabbitmq集群部署
mofiu的博客
08-22 1430
mongo 3.4k8s-mongo-ha https://github.com/tarosky/k8s-mongo-ha 需要持久化的目录/data redis 3.2https://github.com/tarosky/k8s-redis-ha 需要持久化目录/data，/opt zookeeper 3.4.10https://github.com/engapa/zookeeper-k8s-o
MongoDB 的基本使用
qq_62866151的博客
10-01 1123
目录数据库的创建和删除创建数据库查看数据库删除数据库集合的创建和删除显示创建查看 删除集合隐式创建文档的插入和查询单个文档的插入insertOneinsertMany 查询嵌入式文档查询数组查询数组元素 为数组元素指定多个条件 通过对数组元素使用复合筛选条件查询数组查询满足多个条件的数组元素按数组索引位置查询元素按数组长度查询数组查询嵌入式文档数组查询嵌套在数组中的文档在文档数组中的字段上指定查询条件在文档数组中嵌入的字段上指定查询条件使用数组索引查询嵌入式文档中的字段为文档数组指定多个条件单个嵌套文档满足
【数据库】Java 集成mongodb— MongoTemplate 详解
颜淡慕潇
09-30 9256
`MongoTemplate` 是 Spring Data MongoDB 提供的核心类，用于简化与 MongoDB 数据库的交互。它封装了许多常见的数据库操作，使开发者能够轻松执行 CRUD（创建、读取、更新、删除）操作，处理复杂查询和聚合等。本文将详细介绍 `MongoTemplate` 的功能、使用方法、配置步骤以及一些实际示例。
深入浅出MongoDB（六）
快乐江小鱼的博客
10-08 578
是一个十六进制字符串，表示查询结构的哈希值，并且仅依赖于查询结构。两个不同的查询结构可能会产生相同的哈希值，但是不同查询结构之间不太可能发生哈希冲突。，它是与查询关联的计划缓存条目键的哈希值，是查询结构和该结构当前可用索引的函数。如果添加或删除可以支持该查询结构的索引，则。为了帮助识别具有相同查询结构的慢速查询，每个查询结构都与一个queryHash相关联。为了更深入地了解查询计划缓存，mongodb推出了。
MongoDB的使用
bo_bo001的博客
10-03 1273
MongoDB的使用
mongodb集群
最新发布
m0_66925868的博客
10-08 805
分片键（Shard Key）: 首先，你需要选择一个分片键，这通常是文档中的一个字段或多个字段的组合。分片键用于确定文档应该存储在哪个分片上。数据分裂（Splitting）: 当文档被插入到一个分片中时，如果该分片上的数据量达到一定阈值（由chunkSize控制），那么这个分片就会被分裂成两个或更多的新分片。数据迁移（Migration）: 分片集群中的平衡器（balancer）会监控数据分布，并自动将分片从一个分片移动到另一个分片，以保持数据的均衡分布。
mong java 分页
02-06
在 MongoDB 中，可以使用 `skip()` 和 `limit()` 方法来实现分页。 示例代码： ``` db.collection.find().skip(10).limit(5) ``` 上面的代码表示跳过前 10 条记录，并返回后 5 条记录。 在java 中可以使用MongoTemplate 或者 MongoRepository 来操作分页. 示例代码： ``` Pageable pageable = PageRequest.of(page, size); Query query = new Query().with(pageable); List<YourBean> list = mongoTemplate.find(query, YourBean.class); ``` 使用MongoRepository 也很简单，只需要实现Repository接口，就能调用findAll(Pageable pageable)方法实现分页查询了。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值