![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
精通分布式数据库系列
文章平均质量分 85
涵盖Mycat、ShardingSphere、TiDB、MongoDB等数据库技术,助你从分布式数据库小白进阶为分布式数据库专家
冰 河
这个作者很懒,什么都没留下…
展开
-
Sharding-JDBC实战教程:一文教你从实战角度彻底掌握Sharding-JDBC
在产品初期快速迭代的过程中,往往为了快速上线而占据市场,在后端开发的过程中往往不会过多的考虑分布式和微服务,往往会将后端服务做成一个单体应用,而数据库也是一样,最初会把所有的业务数据都放到一个数据库中,即所谓的单实例数据库。随着业务的迅速发展,将所有数据都放在一个数据库中已经不足以支撑业务发展的需要。此时,就会对系统进行分布式改造,而数据库业务进行分库分表的拆分。那么,问题来了,如何更好的访问和管理拆分后的数据库呢?业界已经有很多成熟的解决方案,其中,一个非常优秀的解决方案就是:Apache Shardin原创 2024-05-05 12:42:06 · 830 阅读 · 0 评论 -
硬核!4.5万字手把手教你搭建MySQL海量数据存储架构!!(全程实战,建议收藏)
MySQL数据库到底能存储多少数据呢?很多小伙伴可能会觉得MySQL数据库存储的数据量不大,不能支撑起大数据量的存储与读写性能。实则不然,只要架构设计得当,MySQL其实完全可以存储海量数据,并且在海量数据的存储下提供良好的读写性能。原创 2021-06-09 14:11:43 · 46709 阅读 · 115 评论 -
sharding-jdbc之——分库分表实例
转载请注明出处:http://blog.csdn.net/l1028386804/article/details/79368021一、概述之前,我们介绍了利用Mycat进行分库分表操作,Mycat分表操作是利用分库来进行的,单个库中的分表操作可结合MySQL的分区进行,这也是Mycat官方提倡的方式。那么,如何利用Mycat真正实现数据库的分库分表,可以私信我。今天,我们来看看sharding-j...原创 2018-02-25 13:10:30 · 87624 阅读 · 21 评论 -
MongoDB之——Replica Sets + Sharding
转载请注明出处:https://blog.csdn.net/l1028386804/article/details/80017173MongoDB Auto-Sharding 解决了海量存储和动态扩容的问题,但离实际生产环境所需的高可靠、高可用还有些距离,所以有了” Replica Sets + Sharding”的解决方案:Shard:使用 Replica Sets,确保每个数据节点都具有备份、...原创 2018-04-20 12:51:35 · 928 阅读 · 0 评论 -
MongoDB之——管理维护 Sharding
转载请注明出处:https://blog.csdn.net/l1028386804/article/details/800171041、列出所有的 Shard Server> db.runCommand({ listshards: 1 }) --列出所有的 Shard Server{ "shards" : [ { "_id" : "shard0000", "host" :...原创 2018-04-20 12:41:31 · 1235 阅读 · 0 评论 -
MongoDB之——Sharding 分片
转载请注明出处:https://blog.csdn.net/l1028386804/article/details/80016926这是一种将海量的数据水平扩展的数据库集群系统,数据分表存储在 sharding 的各个节点上,使用者通过简单的配置就可以很方便地构建一个分布式 MongoDB 集群。MongoDB 的数据分块称为 chunk。每个 chunk 都是 Collection 中一段连续的...原创 2018-04-20 12:10:07 · 1262 阅读 · 0 评论 -
MongoDB之——管理维护 Replica Sets
转载请注明出处:https://blog.csdn.net/l1028386804/article/details/80014056一、读写分离有一些第三方的工具,提供了一些可以让数据库进行读写分离的工具。我们现在是否有一个疑问,从库要是能进行查询就更好了,这样可以分担主库的大量的查询请求。1、先向主库中插入一条测试数据[root@localhost bin]# ./mongo --port 28...原创 2018-04-20 09:39:42 · 747 阅读 · 0 评论 -
MongoDB之——主从操作日志oplog与主从配置信息
转载请注明出处:https://blog.csdn.net/l1028386804/article/details/80013723一、主从操作日志oplogMongoDB 的 Replica Set 架构是通过一个日志来存储写操作的,这个日志就叫做”oplog”。oplog.rs 是一个固定长度的 capped collection,它存在于”local”数据库中,用于记录 ReplicaSet...原创 2018-04-20 09:09:06 · 1789 阅读 · 0 评论 -
MongoDB之——Replica Sets部署
转载请注明出处:https://blog.csdn.net/l1028386804/article/details/800135501、创建数据文件存储路径[root@localhost ~]# mkdir -p /data/data/r0[root@localhost ~]# mkdir -p /data/data/r1[root@localhost ~]# mkdir -p /data/d...原创 2018-04-20 08:49:21 · 726 阅读 · 0 评论 -
MongoDB之——性能监控
转载请注明出处:https://blog.csdn.net/l1028386804/article/details/800092831、mongosniff此工具可以从底层监控到底有哪些命令发送给了 MongoDB 去执行,从中就可以进行分析:以 root 身份执行:./mongosniff --source NET lo然后其会监控位到本地以 localhost 监听默认 27017 端口的 M...原创 2018-04-19 18:57:51 · 2433 阅读 · 0 评论 -
MongoDB之——性能优化
转载请注明出处:https://blog.csdn.net/l1028386804/article/details/80009221如果 nscanned(扫描的记录数)远大于 nreturned(返回结果的记录数)的话,那么我们就要考虑通过加索引来优化记录定位了。reslen 如果过大,那么说明我们返回的结果集太大了,这时请查看 find 函数的第二个参数是否只写上了你需要的属性名。对于创建索引...原创 2018-04-19 18:52:24 · 2163 阅读 · 0 评论 -
MongoDB之——优化器profile
转载请注明出处:https://blog.csdn.net/l1028386804/article/details/80003217在 MySQL 中,慢查询日志是经常作为我们优化数据库的依据,那在 MongoDB 中是否有类似的功能呢?答案是肯定的,那就是 MongoDB Database Profiler。所以 MongoDB 不仅有,而且还有一些比 MySQL 的 Slow Query Lo...原创 2018-04-19 12:43:52 · 1621 阅读 · 0 评论 -
MongoDB之——explain 执行计划
转载请注明出处:https://blog.csdn.net/l1028386804/article/details/80003204MongoDB 提供了一个 explain 命令让我们获知系统如何处理查询请求。利用 explain 命令,我们可以很好地观察系统如何使用索引来加快检索,同时可以针对性优化索引。> db.t5.ensureIndex({name:1})> db.t5.e...原创 2018-04-19 12:40:36 · 1380 阅读 · 0 评论 -
MongoDB之——进程控制
转载请注明出处:https://blog.csdn.net/l1028386804/article/details/80003193DBA 经常要解决系统的一些查询性能问题,此时一般的操作习惯是先查看有哪些进程,然后将异常的进程杀掉,那么 MongoDB 是怎么样处理的呢?1、查看活动进程查看活动进程,便于了解系统正在做什么,以便做下一步判断> db.currentOp();> //...原创 2018-04-19 12:38:40 · 1390 阅读 · 0 评论 -
MongoDB之——索引
转载请注明出处:https://blog.csdn.net/l1028386804/article/details/80003156MongoDB 提供了多样性的索引支持,索引信息被保存在 system.indexes 中,且默认总是为_id创建索引,它的索引使用基本和 MySQL 等关系型数据库一样。其实可以这样说说,索引是凌驾于数据存储系统之上的另一层系统,所以各种结构迥异的存储都有相同或相似...原创 2018-04-19 12:35:30 · 717 阅读 · 0 评论 -
MongoDB之——命令行操作
转载请注明出处:https://blog.csdn.net/l1028386804/article/details/80003135MongoDB shell 不仅仅是一个交互式的 shell,它也支持执行指定 javascript 文件,也支持执行指定的命令片断。有了这个特性,就可以将 MongoDB 与 linux shell 完美结合,完成大部分的日常管理和维护工作。1、通过 eval 参数...原创 2018-04-19 12:28:33 · 3400 阅读 · 0 评论 -
MongoDB之——访问控制
转载请注明出处:https://blog.csdn.net/l1028386804/article/details/80003031官方手册中启动 MongoDB 服务时没有任何参数,一旦客户端连接后可以对数据库任意操作,而且可以远程访问数据库,所以推荐开发阶段可以不设置任何参数,但对于生产环境还是要仔细考虑一下安全方面的因素,而提高 MongoDB 数据库安全有几个方面:绑定 IP 内网地址访问...原创 2018-04-19 12:07:41 · 1286 阅读 · 0 评论 -
MongoDB之——数据备份与恢复
转载请注明出处:https://blog.csdn.net/l1028386804/article/details/80000764一、数据备份 mongodump可以用 mongodump 来做 MongoDB 的库或表级别的备份,下面举例说明:备份 my_mongodb 数据库[root@localhost bin]# ./mongodump -d my_mongodbconnected t...原创 2018-04-19 10:10:22 · 945 阅读 · 0 评论 -
MongoDB之——数据导出导入
转载请注明出处:https://blog.csdn.net/l1028386804/article/details/80000608一、数据导出 mongoexport作为 DBA,经常会碰到导入导出数据的需求,下面就介绍实用工具mongoexport和mongoimport的使用方法,望你会有所收获。假设库里有一张 user 表,里面有 2 条记录,我们要将它导出> use my_mong...原创 2018-04-19 10:02:45 · 1609 阅读 · 0 评论 -
MongoDB之——MapReduce
转载请注明出处:https://blog.csdn.net/l1028386804/article/details/799957231、MongoDB MapReduce简述与数据准备MongoDB 的 MapReduce 相当于 Mysql 中的"group by",所以在MongoDB上使用 Map/Reduce进行并行"统计"很容易。使用 MapReduce 要实现两个函数 Map 函数和 ...原创 2018-04-18 19:54:46 · 698 阅读 · 0 评论 -
MongoDB之——GridFS
转载请注明出处:https://blog.csdn.net/l1028386804/article/details/799956591、简单介绍GridFS 使用两个表来存储数据:1) files 包含元数据对象2) chunks 包含其他一些相关信息的二进制块为了使多个 GridFS 命名为一个单一的数据库,文件和块都有一个前缀,默认情况下,前缀是fs,所以任何默认的 GridFS 存储将包括命...原创 2018-04-18 19:49:06 · 781 阅读 · 0 评论 -
MongoDB之——Capped Collection
转载请注明出处:https://blog.csdn.net/l1028386804/article/details/799956281、简单介绍capped collections 是性能出色的有着固定大小的集合,以 LRU(Least Recently Used 最近最少使用)规则和插入顺序进行 age-out(老化移出)处理,自动维护集合中对象的插入顺序,在创建时要预先指定大小。如果空间用完,...原创 2018-04-18 19:44:01 · 1008 阅读 · 1 评论 -
MongoDB之——存储过程
转载请注明出处:https://blog.csdn.net/l1028386804/article/details/79995587MongoDB 为很多问题提供了一系列的解决方案,针对于其它数据库的特性,它仍然毫不示弱,表现的非比寻常。MongoDB 同样支持存储过程。关于存储过程你需要知道的第一件事就是它是用 javascript 来写的。也许这会让你很奇怪,为什么它用 javascript ...原创 2018-04-18 19:41:49 · 5428 阅读 · 0 评论 -
MongoDB之——游标
转载请注明出处:https://blog.csdn.net/l1028386804/article/details/79995570像大多数数据库产品一样, MongoDB 也是用游标来循环处理每一条结果数据,具体语法如下:> for( var c = db.t3.find(); c.hasNext(); ) {... printjson( c.next());... }{ "_id"...原创 2018-04-18 19:38:36 · 923 阅读 · 1 评论 -
MongoDB之——高级查询
转载请注明出处:https://blog.csdn.net/l1028386804/article/details/799953781、 条件操作符<, <=, >, >= 这个操作符就不用多解释了,最常用也是最简单的db.collection.find({ "field" : { $gt: value } } ); // 大于: field > valuedb.c...原创 2018-04-18 19:34:40 · 791 阅读 · 0 评论 -
MongoDB之——基于Shell命令行操作记录
转载请注明出处:https://blog.csdn.net/l1028386804/article/details/79982083一、插入记录下面我们来建立一个 test 的集合并写入一些数据. 建立两个对象 j 和 t , 并保存到集合中去.在例子里 “>” 来表示是 shell 输入提示符> j = { name : "mongo" };{"name" : "mongo"}&...原创 2018-04-17 22:37:58 · 1999 阅读 · 0 评论 -
MongoDB之——mongod参数说明
转载请注明出处:https://blog.csdn.net/l1028386804/article/details/79980746最简单的,通过执行 mongod 即可以启动 MongoDB 数据库服务, mongod 支持很多的参数,但都有默认值,其中最重要的是需要指定数据文件路径,或者确保默认的/data/db 存在并且有访问权限,否则启动后会自动关闭服务。 Ok,那也就是说,只要确保 db...原创 2018-04-17 21:03:55 · 1409 阅读 · 0 评论 -
MongoDB之——MongoDB 聚合
转载请注明出处:https://blog.csdn.net/l1028386804/article/details/79828362MongoDB中聚合(aggregate)主要用于处理数据(诸如统计平均值,求和等),并返回计算后的数据结果。有点类似sql语句中的 count(*)。aggregate() 方法MongoDB中聚合的方法使用aggregate()。语法aggregate() 方法的...原创 2018-04-05 19:12:50 · 711 阅读 · 0 评论 -
MongoDB之——命令
转载请注明出处:https://blog.csdn.net/l1028386804/article/details/79802903一、创建数据库use foobar二、创建集合db.persons.insert({name:"zhaomin",age:23})三、查找db.persons.find()db.persons.findOne()四、修改db.persons.update({name:...原创 2018-04-03 14:30:16 · 917 阅读 · 0 评论 -
MongoDB之——spring4.3.7整合mongodb3.2.1
BaseMongoDaopackage com.stbr.common.mongodb.base;import com.mongodb.WriteResult;import com.stbr.common.mongodb.util.MongoFactory;import org.springframework.beans.factory.annotation.Autowired;impor...转载 2018-04-02 21:08:39 · 1541 阅读 · 0 评论 -
MongoDB之——MongoDB基本用法(增删改高级查询、mapreduce)
转载请注明出处:http://blog.csdn.net/l1028386804/article/details/79190786该示例基于的mongo驱动版本为mongo-2.10.1.jar,用junit写单元测试。TestCase.javapackage com.lyz.mongo; import java.net.UnknownHostExceptio原创 2018-01-28 23:44:26 · 6035 阅读 · 0 评论 -
Mongodb之——CentOS安装Mongodb
Mongodb是一种nosql类型的数据库,高性能、易部署、易使用的特点在IT行业非常流行。下面介绍一下mongodb的安装方式,这里我们是在linux下安装,使用的是centos6.4 65位的,可以在官网上下载对应的安装包,官网是https://www.mongodb.org/,首先看下自己的系统是32位还是64位,使用uname -a可以看到操作系统的位数,如果有64的字样就是64位的,如果没有就是32位的,然后下载对应的安装包;1、把安装包上传到linux服务器上,解压,然后我们把mongod原创 2017-04-12 00:40:43 · 1352 阅读 · 0 评论 -
冰河,能不能讲讲如何实现MySQL数据存储的无限扩容?
实现MySQL数据存储的无线扩容,看这一篇就够了!!原创 2020-12-19 02:01:56 · 1075 阅读 · 1 评论 -
海量数据架构下如何保证Mycat的高可用?
如何实现Mycat的高可用,我只看这一篇!!原创 2020-12-10 23:56:20 · 936 阅读 · 0 评论 -
冰河,能讲讲Mycat如何实现MySQL的读写分离吗?
Mycat实现MySQL读写分离,看这一篇就够了!!原创 2020-12-08 00:37:28 · 1017 阅读 · 0 评论 -
MySQL如何实现万亿级数据存储?
搭建Mycat+Zookeeper+HAProxy+Keepalived+MySQL高可用架构实现万亿级数据存储!!原创 2020-11-24 23:30:34 · 1758 阅读 · 0 评论 -
【Mycat】Mycat核心开发者带你轻松掌握Mycat路由转发!!
Mycat核心开发者带你一文看尽Mycat路由转发!!原创 2020-11-11 20:24:04 · 663 阅读 · 0 评论 -
【Mycat】Mycat核心开发者带你看尽Mycat三大核心配置文件
一文看尽Mycat三大核心配置文件!!原创 2020-11-10 21:22:15 · 1062 阅读 · 0 评论 -
【Mycat】作为Mycat核心开发者,怎能不来一波Mycat系列文章?
Mycat核心开发者深度分享Mycat系列文章原创 2020-11-10 00:26:29 · 830 阅读 · 0 评论 -
Mycat之——Mycat的限制
不支持的SQL语句create table like xxxcreate table select xxxselect for updateselect lock in share modeselect into outfile/into var_name不支持跨库多表关联查询、子查询。不支持多表UPDATE或者UPDATE分片键。不支持跨分片的update/dele...原创 2020-03-16 23:53:30 · 1894 阅读 · 0 评论