qnap mysql 存海量数据_海量数据存储的解决方案(分布式数据库)

一、大型互联网系统数据的存储处理

5983cedead807e595b2732fe1aa4a2dc.png

81b25ecbaacf729fa161449b4f0ee227.png

c7835253261d2407afeac8ad5d5038b6.png

eb668dd9587d29cd925856f69c16e134.png

a42fb9ab19e2ed97095480e7b9117a22.png

8a3919abd8d3c9f21da2933f9d0f492a.png

解释:主库集群并不能解决并发写的压力

​因为是一个集群,集群上的每一个节点上面存的数据是要保证是一样的。在任何一台节点上去插入一条数据,最终这些数据都要同步到集群的各个节点上面去的,也就是说个个节点上面的也会进行一次写操作,所以并没有起到缓解的作用。

​带来负面的影响:1.数据库的一致性,2.主键唯一性的问题

b50822ac42b2c8e984f54ae4779a1e60.png

c22b448996e0afbaf29f5afacd819e46.png

542aae21df456f596f086f543ef56ec1.png

分区表和分表:

​优先选择的是分区表,评估一下数据的量,有没有超出单个库的处理能力,如果没有,完全可以采用分区表的这种方式来做,因为使用分区表呢,就把处理数据的难度就交给了数据库自身来处理了。

​分区表是只能在单个库里,对一个表进行分区的,那么如果并发的压力超过了单个库的处理能力,就要考虑使用分表策略了,

​分表:指一个数据库中的某个表数据量特别大,把它拆成多个表,放到多个库上面去,分散他们的压力。

​分表的规则:

​1.范围分区:适合于数值型的/时间型的就可以使用范围分区

​2.列表分区:比如:类型为字符串,有限个枚举这类的,如城市 就可以使用列表分区

​3.散列分区:不具备 1.2特点的,考虑用散列分区,对这个值求哈希值,然后用这个值去求余或其他等操作选择合适的表

​4.复合分区:是对1,2,3的综合使用

数据库中间件:能够帮我们屏蔽掉后段数据存储的变化带来对上层代码的影响,

总结:

696b9ae7adf85e350fe63e7be8b668ae.png

[注]:分布式数据库:就是Mysql数据库构成的,分库,分表的,读写分离的集群

二、方案选型

1.数据库中间件的两种实现模式:

984b691ab142344470357bd9022a8ba4.png

客户端模式:吃内存(与应用争内存),不适用海量数据的存储,但是适用于高并发的场景

cf382eeb7b904ab56127ed35dba375ef.png

2.常用的数据库中间件

b6a33fa7b1678bcfb66329b929d113e4.png

31b9e0d799451857a3929c36c38881d1.png

三、分布式数据库原理、技术难点

1.数据库拆分:

8d376f2f850925e0d8c0c6e968a77e21.png

0de11a81968b8c565225deeb92ca5487.png

fae40a2e5632f0dd9674e13790f4910e.png

689547d4268a45db7ada3ca823eb2b24.png

8dc4613e6d96e0d88751829c44d192e6.png

0918ca13da18bd8e7cf31a1b59d39c85.png

2b82a1f6f1e6e495b30f170ca40f1d48.png

027c9bc1e23ef5591855e03b6f0db0f0.png

79c0cc142d84b6037ca196fb96a05782.png

49a387737910dd0fcf189acbb3f560f6.png

d7596e243913362f6035ec6a4d06fbbe.png

四、高级技能

9a383f89d039a8fb2afe77823a0ccb3d.png

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值