余额宝数据架构阅读

链接https://mp.weixin.qq.com/s?__biz=MzAwMDU1MTE1OQ==&mid=2653547540&idx=1&sn=b3f568ba4bd1c4a0a2d35c0e5ef033cc&scene=21#wechat_redirect

 

余额宝目前储存有大量的数据，那么如何处理、储存和利用这些数据是需要解决的问题，同时还要保证数据的安全性

数据来源于业务数据、日志数据和其他数据

采用分布式的数据储存：

后台的数据储存系统可以分为两部分，一部分解决实时查询，另一部分用于离线计算，对数据进行挖掘、分析。

外部储存的数据可以是业务数据、文件日志等，将他们导入到数据库

前端采用自主开发的数据库软件或其他可用外部工具

在他们之间通过算法的处理，如：神经网络、机器学习等增加数据调用的速度，数据的实时处理速度

• 耦合。首先计算和数据的耦合还是存在的。这实际上是对系统的扩展是不利的。另外，单个计算节点上，在业务上还是存在耦合，我们很多业务上的东西还是存在拆分的可能。

• 数据流转，我们现在数据库层面也是分布式，所以数据的抽取、同步和流转会遇到很多现实的问题。

• 运维。在运维方面除了遇到的传统分布式系统的运维遇到的一些难题之外，我们还在业务层面的运维也会遇到一些现实问题。

按照业务分类储存数据，建立分布式的储存系统

 

批量计算：RDS 集群

分析型、挖掘类需求可采用列存数据库

 

保证系统数据的安全行

提高数据的读写速度

对历史数据分析、挖掘

减少数据同步出现的数据冗余

转载于:https://www.cnblogs.com/0710whh/p/10665969.html