mongodb分片集群搭建

最新推荐文章于 2024-07-02 19:41:35 发布
最新推荐文章于 2024-07-02 19:41:35 发布
阅读量262 收藏 2
点赞数
分类专栏： mongodb 文章标签： mongodb
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44115365/article/details/109982605
版权

1. 环境软件版本

环境&软件版本
虚拟机&VMware Workstation ProVMwareworkstation15.5.6
服务器&CentosCentOS-7-x86_64-DVD-1503-01.iso
数据库&mongodbmongodb-linux-x86_64-4.1.3
远程连接&Xshell5
远程文件传输&Xftp5

2. 环境架构设计

机器名称IP:port角色
mongodb192.168.5.136:27011mongodb路由节点
mongodb192.168.5.136:17011mongodb配置节点1
mongodb192.168.5.136:17013mongodb配置节点2
mongodb192.168.5.136:17015mongodb配置节点3
mongodb192.168.5.136:37011shard1节点1
mongodb192.168.5.136:37013shard1节点2
mongodb192.168.5.136:37015shard1节点3
mongodb192.168.5.136:37017shard1仲裁节点
mongodb192.168.5.136:47011shard2节点1
mongodb192.168.5.136:47013shard2节点2
mongodb192.168.5.136:47015shard2节点3
mongodb192.168.5.136:47011shard2仲裁节点
mongodb192.168.5.136:57011shard3节点1
mongodb192.168.5.136:57013shard3节点2
mongodb192.168.5.136:57015shard3节点3
mongodb192.168.5.136:57017shard3仲裁节点
mongodb192.168.5.136:58011shard4节点1
mongodb192.168.5.136:58013shard4节点2
mongodb192.168.5.136:58015shard4节点3
mongodb192.168.5.136:58017shard4仲裁节点

3.配置节点配置

建立17011配置节点的配置信息，vi config-17011.conf

dbpath=config/config1
# 日志文件位置
logpath=config/logs/config1.log
# 以追加方式写入日志
logappend=true
# 是否以守护进程方式运行
fork = true
bind_ip=0.0.0.0
port = 17011
# 表示是一个配置服务器
configsvr=true
# 配置服务器副本集名称
replSet=configsvr
#auth=true
#keyFile=data/mongodb/testKeyFile.file

以上为17011端口的配置节点配置，17013，17015节点的以此相同
注意：需提前建立dbpath和logpath指定的文件夹，否则启动报错
建立3个节点后进行启动，使用mongodb下bin目录里面的命令启动，例如：./bin/mongod -f config/config-17011.conf,依次启动17011，17013，17015

随意进入其中一个节点，./bin/mongo --port 17011,将3个配置节点添加进集群：

use admin

var cfg ={"_id":"configsvr", "members":[ 
{"_id":1,"host":"192.168.5.136:17011"}, 
{"_id":2,"host":"192.168.5.136:17013"},
 {"_id":3,"host":"192.168.5.136:17015"}] 
 };
 
rs.initiate(cfg)

配置节点完成

4.配置数据节点分片shard1

建立节点37011配置文件，vi shard1-37011.conf

dbpath=shard/shard1/shard1-37011
bind_ip=0.0.0.0
port=37011
fork=true
logpath=shard/shard1/logs/shard1-37011.log
replSet=shard1
shardsvr=true
#auth=true
#keyFile=data/mongodb/testKeyFile.file

依次建立37013，37015，37017节点的配置文件
启动节点：

./bin/mongod -f shard/shard1/shard1-37011.conf
./bin/mongod -f shard/shard1/shard1-37013.conf
./bin/mongod -f shard/shard1/shard1-37015.conf
./bin/mongod -f shard/shard1/shard1-37017.conf

进入其中一个节点，将节点加入集群：

var cfg ={"_id":"lagouCluster", "protocolVersion" : 1, "members":[ 
   {"_id":1,"host":"192.168.5.136:37011"},
   {"_id":2,"host":"192.168.5.136:37013"} ,
   {"_id":2,"host":"192.168.5.136:37015"} ,
   {"_id":2,"host":"192.168.5.136:37013","arbiterOnly":true} 
 ] }
 rs.initiate(cfg) 
 rs.status()

“arbiterOnly”:true标识为仲裁节点
按照上面步骤，建立shard2,shard3,shard4分片集群

5.建立路由节点

为27017路由节点建立配置文件，vi route-27017.conf

port=27017
bind_ip=0.0.0.0
fork=true
logpath=route/logs/route.log
configdb=configsvr/192.168.5.136:17011,192.168.5.136:17013,192.168.5.136:17015
#keyFile=data/mongodb/testKeyFile.file

启动路由节点: ./bin/mongos -f route/route-27017.conf
进入路由节点，将数据分片添加进去：

sh.status() 
sh.addShard("shard1/192.168.5.136:37011,192.168.5.136:37013,192.168.5.136: 37015，192.168.5.136: 37017"); 
sh.addShard("shard2/192.168.5.136:47011,192.168.5.136:47013,192.168.5.136: 47015，192.168.5.136: 47017"); 
sh.addShard("shard3/192.168.5.136:57011,192.168.5.136:57013,192.168.5.136: 57015，192.168.5.136: 57017"); 
sh.addShard("shard1/192.168.5.136:58011,192.168.5.136:58013,192.168.5.136: 58015，192.168.5.136: 58017"); 
sh.status()

在这里插入图片描述
开启分片：

为数据库开启分片功能 
sh.enableSharding("lagou_resume") 
为指定集合开启分片功能
 sh.shardCollection("lagou_resume.lagou_resume_datas",{"name":“hashd”})

6.测试分片功能

往route路由节点里插入数据：
在这里插入图片描述
查看分片数据：
在这里插入图片描述

7.开启权限认证

mongodb默认没有用户，所以需要先建立一个root用户，后续才可以进行用户权限的更改

use admin 
db.createUser( {  user:"root",  pwd:"123456", roles:[{role:"root",db:"admin"}]  })

生成密钥文件，放在mongodb目录下的data/mongodb，没有需要新建

openssl rand -base64 756 > data/mongodb/testKeyFile.file 
#修改执行权限
chmod 600 data/mongodb/keyfile/testKeyFile.file

需要在config节点和数据分片节点增加配置

auth=true
keyFile=data/mongodb/testKeyFile.file

在route节点配置中增加配置

keyFile=data/mongodb/testKeyFile.file

重启所有的mongodb实例，要按顺序启动；可使用脚本启动

./bin/mongod -f config/config-17011.conf
./bin/mongod -f config/config-17013.conf
./bin/mongod -f config/config-17015.conf
./bin/mongod -f shard/shard1/shard1-37011.conf
./bin/mongod -f shard/shard1/shard1-37013.conf
./bin/mongod -f shard/shard1/shard1-37015.conf
./bin/mongod -f shard/shard1/shard1-37017.conf

./bin/mongod -f shard/shard2/shard2-47011.conf
./bin/mongod -f shard/shard2/shard2-47013.conf
./bin/mongod -f shard/shard2/shard2-47015.conf
./bin/mongod -f shard/shard2/shard2-47017.conf

./bin/mongod -f shard/shard3/shard3-57011.conf
./bin/mongod -f shard/shard3/shard3-57013.conf
./bin/mongod -f shard/shard3/shard3-57015.conf
./bin/mongod -f shard/shard3/shard3-57017.conf

./bin/mongod -f shard/shard4/shard4-58011.conf
./bin/mongod -f shard/shard4/shard4-58013.conf
./bin/mongod -f shard/shard4/shard4-58015.conf
./bin/mongod -f shard/shard4/shard4-58017.conf

./bin/mongos -f route/route-27017.conf

认证用户，要进入对应数据库；认证完之后才可以操作

use admin
db.auth("root","123456")

8.集成springboot

添加依赖

<dependencies>
       <dependency>
           <groupId>org.springframework.boot</groupId>
           <artifactId>spring-boot-starter-data-mongodb</artifactId>
           <version>2.2.2.RELEASE</version>
       </dependency>
   </dependencies>

创建实体

@Document("lg_resume_datas")
public class Resume {....}

创建dao接口和实现类

@Service("resumeDao")
public class ResumeDAOImpl implements ResumeDAO {
    @Autowired
    private MongoTemplate mongoTemplate;
    @Override
    public void insertResume(Resume resume) {
        //mongoTemplate.insert(resume);
        mongoTemplate.insert(resume,"lg_resume_datas");
    }

    @Override
    public Resume findByName(String name) {
        Query query = new Query();
        query.addCriteria(Criteria.where("name").is(name));
        List<Resume> datas = mongoTemplate.find(query,Resume.class,"lg_resume_datas");
        return  datas.isEmpty()?null:datas.get(0);
    }

    @Override
    public List<Resume> findList(String name) {
        Query query = new Query();
        query.addCriteria(Criteria.where("name").is(name));
        List<Resume> datas = mongoTemplate.find(query,Resume.class,"lg_resume_datas");
        return  datas;
    }

    @Override
    public List<Resume> findListByNameAndExpectSalary(String name, double expectSalary) {
        Query query = new Query();
        //query.addCriteria(Criteria.where("name").is(name).andOperator(Criteria.where("expectSalary").is(expectSalary)));
        query.addCriteria(Criteria.where("name").is(name).andOperator(Criteria.where("expectSalary").is(expectSalary)));
        return  mongoTemplate.find(query,Resume.class,"lg_resume_datas");
    }
}

测试用例

@SpringBootApplication
public class DemoApplication {
    public static void main(String[] args) {
        ApplicationContext applicationContext  = SpringApplication.run(DemoApplication.class,args);
        ResumeDAO resumeDao = applicationContext.getBean("resumeDao",ResumeDAO.class);

        testInsert(resumeDao);

        testQuery(resumeDao);
    }

    private static void testQuery(ResumeDAO resumeDao) {
        Resume  resume2  =resumeDao.findByName("lisi22");
        System.out.println(resume2);
    }

    private static void testInsert(ResumeDAO resumeDao) {
        Resume resume  = new Resume();
        resume.setName("赵六");
        resume.setCity("北京");
        Date date = null;
        String  dateStr = "yyyy-MM-dd hh:mm:ss";
        SimpleDateFormat simpleDateFormat  = new SimpleDateFormat(dateStr);
        try {
            date = simpleDateFormat.parse("2003-11-02 11:13:14");
        } catch (ParseException e) {
            e.printStackTrace();
        }
        resume.setBirthday(date);
        resume.setExpectSalary(28000);
        resumeDao.insertResume(resume);
        System.out.println("resume="+resume);
    }
}

效果展示
在这里插入图片描述
在这里插入图片描述

weixin_44115365
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
java mongo 获取所有数据库_Java中获取MongoDB连接的方法详解
weixin_39623355的博客
12-19 269
Java中获取MongoDB连接的方法详解发布于 2020-5-31|复制链接摘记: 首先是所需jar包，Maven中的配置如下：```xmlorg.mongodbmongodb-driver3.4.1org.mongodbbson3.4.1org.springframework.data..首先是所需jar包，Maven中的配置如下：```xmlorg.mongodbmongodb-driver...
mongodb 分片集群搭建过程（无副本）
04-18
mongodb 分片集群搭建过程（无副本），详细操作步骤，linux命令
SpringBoot中配置MongoDB数据源时出错
qq_41936224的博客
10-28 1775
问题： 在配置MongDB时，引入了mongo依赖 <!-- MongoDB依赖 --> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-mongodb</artifactId> <version>2.3.4.RELEASE</version> </
MongoDB集群搭建-最简单
最新发布
shiguang521314的博客
07-02 1050
MongoDB分片（Sharding）是一种水平扩展数据库的方法，它允许将数据分散存储在多个服务器上，从而提高数据库的存储容量和处理能力。分片是MongoDB为了应对大数据量和高吞吐量需求而设计的一种分布式架构。一、分片概念1.分片键（Shard Key）：MongoDB使用分片键来决定数据如何分布在不同的分片上。分片键可以是文档中的一个字段或字段组合，MongoDB会根据分片键的值将数据均匀地分配到各个分片中。2.分片（Shard）：分片是MongoDB集群中的一个组成部分，它是一个独立的MongoDB实
com.mongodb.MongoNotPrimaryException
weixin_69767119的博客
10-23 248
今天与第三方联调的时候，推送数据给第三方时不时的出现这个错误，一会儿能推送成功，一会儿推送不成功，查明原因是mongo集群配置出了问题，需要修改mongo集群配置文件。
spring boot多个mongodb数据源
征途人生&梦
09-25 634
1：配置 data: mongodb: primary: uri: mongodb://user:secret@host:port/db?authSource=dbuser secondary: uri: mongodb://user:secret@host:port/db?authSource=dbuser 2:beanconfig public abstract class AbstractMongoConfig { .
jeeboot集成mongohttps报错‘org.springframework.data.mongodb.core.MongoTemplate‘ in your configuration.
Mr_Dong_cson的博客
06-02 648
jeeboot集成mongohttps报错'org.springframework.data.mongodb.core.MongoTemplate' in your configuration.
MongoDB4.2分片及副本集群搭建
04-21
MongoDB4.2分片及副本集群搭建 MongoDB集群 MongoDB分片 MongoDB副本 MongoDB副本集群
MongoDB分片集群部署详解
01-19
1、我们prod环境MongoDB的集群架构是做的分片集群的部署，但是目前我们没有分片，即所有数据都在一个分片上，后期如果数量大，需要分配，集群随时可以分片，对业务方透明 2、各个角色的部署情况 角色 IP 端口 ...
Mongodb分片副本集集群搭建
04-04
搭建Mongodb分片集群的步骤文档，度娘上很多坑，被坑的可以看看，本文档专门埋坑。
MongoDB企业级分片集群搭建
10-19
MongoDB分片集群技术用于解决海量数据的存储问题；而MongoDB副本集是一组维护相同数据集的mongod服务。由此可以看出课程的内容将带领同学们进行MongoDB容灾备份方面的实战，通过MongoDB分片集群技术和MongoDB副本集...
MongoDB数据库导入数据时，使用mongoimport模块报错解决办法（WIN10系统MongoDB安装目录bin文件夹下没有mongoimport.exe）
IsAlwaysWhite的博客
11-06 2576
WIN10系统MongoDB安装目录bin文件夹下没有mongoimport.exe，导致MongoDB数据库导入数据使用mongoimport模块失败解决办法：解压文件 解决办法： 1.直接在https://www.mongodb.com/try/download/database-tools?tck=docs_databasetools 下载 。 解压文件 2.把压缩包内bin文件夹下所有的exe文件复制粘贴到你MongoDB安装目录bin文件夹下：C:\Program Files\MongoDB\Se
spring-data-mongodb 和spring 版本不兼容导致的错误
jackllvv的博客
09-20 9618
错误 org.springframework.beans.factory.BeanCreationException: Error creating bean with name 'mongoTemplate': Bean instantiation via constructor failed; nested exception is org.springframework.beans.Bean...
spring-data-mongodb 独立创建对象，针对多个mongo数据源问题
码灵的博客
03-29 378
一般集成spring-boot 使用，当连接多个数据源，不具备初始化加载参数时，独自创建MongoTemplate 对象。
【Java】java: 程序包org.springframework.boot不存在的解决方法
姜太小白的博客
01-31 2330
java: 程序包org.springframework.boot不存在的解决方法
报错 java: 程序包org.springframework.boot不存在 的一个解决办法
热门推荐
益添的博客
11-29 4万+
目录 太长不看版 背景 初次解决 解决不彻底导致更大的问题 其他解决方案 思考 最终解决方法 太长不看版 我的解决方法 File -> Settings -> Build, Execution, Deployment -> Build Tools -> Maven 重新设置setting.xml的文件即可 背景 最近项目做了分模块管理，因此在maven上的pom中添加了依赖，项目打包正常。但之后修改子模块的代码后，再次运行就提示了“java: 程序包
程序包org.springframework.jdbc.core不存在
xiaoai5324的专栏
03-24 1万+
在使用JdbcTemplate的时候遇到了这个问题 程序包org.springframework.jdbc.core不存在 一直报jar报找不到，maven里面是引入了包的 <dependency> <groupId>org.springframework</groupId> <artifactId>spring-jdbc</artifactId> <version>5.3.4</version&g
SpringBoot集成MongoDB
qq_45558737的博客
11-03 602
关于mongodb的安装与linux命令不在描述(个人建议先熟悉mongoDb的命令) 1，导入maven依赖 <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-mongodb</artifactId> <version>2.0.
SpringBoot 集成MongoDB
zhouzhiwengang的专栏
04-10 500
1、项目结构 pom.xml 文件 <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.a...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值