mongodb 知识图谱_【原创】拉勾课程速推指南-阶段四 模块三 分布式文档存储独角兽MongoDB、知识图谱存储数据库Neo4j...

文章内容输出来源：拉勾教育Java高薪训练营

学习心得

课程介绍

第四阶段 大型分布式存储系统架构进阶

模块三 分布式文档存储独角兽MongoDB、知识图谱存储数据库Neo4j

本模块对MongoDB的存储原理以及replica sets & Sharded Cluster等、对Neo4j数据模型及图形理论等进行深入讲解。

作业内容

(1) 如图搭建一个分片集群 要求每个分片节点中的复制集含有一个仲裁节点

(2) 使用权限控制 建立访问你访问的数据库lg_resume 这个账号名字是lagou_gx 密码是abc321。这个账号对数据库有读写权限

(3) 使用SpringBoot 进行访问分片集群 对lg_resume 库中的lg_resume_datas 进行增加数据

课程目录及观看建议

2倍速模式

课程：3小时

作业：3小时

*** 必看

** 建议看

* 可不看

任务一：分布式文档存储MongoDB)

MongoDB课程介绍(10:45)

MongoDB和RDBMS(16:30)*

MongoDB安装和启动参数说明(25:50)***

MongoShell和GUI工具(16:44)

MongoDN的基本操作(10:08)

插入数据(15:48)

数据查询(18:55)

更新操作(18:07)

删除数据(07:46)

聚合介绍(06:32)

聚合管道(19:40)

MapReduce(16:43)

索引和单键索引(12:50)

索引分类(22:33)

索引分类和总结(14:48)

索引管理(09:14)

执行计划分析(32:45)

慢查询分析(12:48)

MongoDB索引实现原理(13:08)

应用场景和如何抉择(11:48)

Java访问MongoDB(27:58)

Spring访问MongoDB(29:38)**

MongoDBSpring查询(20:57)**

SpringBoot以Template方式访问MongoDB(14:17)**

MongoRepository访问(19:18)***

MongoDB逻辑结构和数据模型(10:48)

存储引擎(12:37)

WireTiger存储引擎原理(17:10)

主从和复制集(10:13)***

复制集原理(17:20)

复制集搭建(20:52)***

复制集成员参数和仲裁节点(15:38)***

分片和分片的原理(24:25)***

配置集群和分片集群(29:14)***

分片后续步骤(12:22)***

安全认证介绍(11:15)***

单机安全认证(14:48)*

集群安全认证(27:07)***

任务二：知识图谱存储Neo4j)

略

观后感

可以3倍速播放。

作业说明

作业思路

在虚拟机中搭建MongoDB分片环境，包括配置节点、分片节点、路由节点，并设置读写权限。最后使用Spring Boot项目进行测试。

实现步骤

准备虚拟机环境

下载MongoDB安装文件

安装MongoDB

设置全部配置文件

设置配置节点信息

设置分片节点信息

设置路由节点信息

设置权限

编写Spring Boot项目进行测试

注意事项

虚拟机空间不足

因为MongoDB集群实例比较多，创建虚拟机时注意需要至少10G磁盘空间，否则需要后期扩容。

先在虚拟机中添加一块8G物理的磁盘，重起虚拟机，然后执行以下shell命令。

# 查看磁盘编号

$ ls /dev/sd*

# 创建pv

$ pvcreate /dev/sdb

# 使用vgextend命令扩展vg(如果提示 Could not create temporary archive name，则需要先删除logs文件腾出一些空间)

$ vgextend centos /dev/sdb

$ lvs

# 可用容量小于8G

$ lvextend -L +7.9G /dev/mapper/centos-root

# 命令使系统重新读取大小

$ xfs_growfs /dev/mapper/centos-root

# 查看磁盘信息(成功扩容为16G)

$ df -h

关闭服务尽量不使用kill

使用kill命令可能会导致MongoDB实例损坏，需要手动删除 data/mongod.lock

然后以修复方式启动

$ /usr/bin/mongod -f /etc/mongod.conf --repair

正常关闭服务的方式(好像killall命令也可以)

> db.shutdownServer();

批量清除数据

如果MongoDB实例或数据损坏，需要批量删除，可以使用以下sh。但是重新启动后需要再次进行相关设置。

rm -rf data/config_17011/*

rm -rf data/config_17013/*

rm -rf data/config_17015/*

rm -rf data/shard1_37011/*

rm -rf data/shard1_37013/*

rm -rf data/shard1_37015/*

rm -rf data/shard1_37017/*

rm -rf data/shard2_47011/*

rm -rf data/shard2_47013/*

rm -rf data/shard2_47015/*

rm -rf data/shard2_47017/*

rm -rf data/shard3_57011/*

rm -rf data/shard3_57013/*

rm -rf data/shard3_57015/*

rm -rf data/shard3_57017/*

rm -rf data/shard4_58011/*

rm -rf data/shard4_58013/*

rm -rf data/shard4_58015/*

rm -rf data/shard4_58017/*

rm -rf data/route_27017/*

权限问题

a. 权限相关的配置最好第一次就填写好，避免很多配置文件写完再重新修改。

b. 目前发现设置完权限后，分片节点权限认证不成功，无法使用shell进行数据查询，只能通过路由节点授权查询。正在解决中。