统一数据格式也是性能优化手段之一

为啥要统一数据格式

前面写过一篇通过延迟信息展示的方式在产品上做了一些优化,来提升后端的响应性能,也提到过我们这个审核系统是一个遗留系统,遗留系统还有一个毛病就是历史包袱比较重,而这里要说的一点就是数据格式不统一造成的问题,以及性能损耗

简要介绍下审核系统内部处理流程

下面忽略了很多细节以及一些在这边博文中,不需要考虑的过程,可以认为是一个极简版的审核系统
简化版本的审核系统

  1. 业务方会把要审核的数据发送到消息队列中,审核系统从 mq 消费队列中消费消息,【这里不考虑遗留系统给业务方提供的接口发过来的数据,在接手这个项目之前,这个使用接口接收数据的方式已经淘汰了】
  2. 消费消息的过程即是数据进审的过程,这里忽略了细节,统一任务数据进审成功,然后存入 es【这里遗留系统还有一部分业务数据是由 mongo 来存取的,这里为了方便说明,只考虑一个服务组件的情况】
  3. 审核人员通过前端界面拉取要审核的数据,包括之前博文中提到的面板的各种计量数据都是从服务组件中获得的【这里只考虑 es 的情况,同时这里不考虑分发的一些并发性控制等问题】
  4. 审核人员拉取到审核数据之后,进行审核,将审核的结果发回业务方【注意这里会变更 es 库中的审核状态,审核人等信息,图中并未标明】

多数据格式的问题

注: 下面所有的数据操作都只以 es 为例

通过简化版本的审核系统介绍,大概

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: 数据规范化(Normalization)是一种数据预处理技术,其目的是通过调整数据值的范围、比例和/或单位,使得数据在进行分析或建模时更易于处理和比较。 数据规范化对于许多数据分析和建模技术来说是非常重要的,其中一些技术包括聚类、分类、回归、神经网络和支持向量机等。数据规范化可以解决以下问题: 1. 不同变量之间的值域差异很大,导致不同变量的重要性不同。 2. 不同变量的单位不同,难以进行比较和统一处理。 3. 部分算法对数据分布的偏差敏感,例如K均值聚类算法。 4. 模型性能受到异常值影响,数据规范化可以去除或减轻异常值对模型的影响。 总之,数据规范化可以提高数据分析和建模的准确性和可靠性,使得不同变量具有相同的权重和可比性,从而更好地帮助我们理解和利用数据。 ### 回答2: 数据规范化(Normalization)是将数据转化为统一标准的过程,通过调整数据的值和结构,以便更好地满足特定需求和要求。 我们需要数据规范化的原因有以下几点: 1. 提高数据的准确性和一致性:通过规范化,我们可以消除数据的重复、冗余、不一致等问题,从而使数据更加准确和一致,提高数据的质量。 2. 减少数据的存储空间和提高查询效率:规范化可以帮助我们优化数据结构和数据存储方式,减少数据的冗余和重复,从而节省存储空间,并提高数据查询和处理的效率。 3. 改善数据的可维护性和可扩展性:规范化能够使数据结构更加清晰和易于理解,使得数据的维护和扩展更加方便和高效。 4. 增强数据的安全性和保密性:通过规范化,可以提高数据的安全性和保密性,减少数据泄露和风险。 5. 支持数据分析和挖掘:规范化的数据能够为数据分析和挖掘提供更好的基础,提高数据分析和挖掘的效果和准确性。 总之,数据规范化是提高数据质量、节省存储空间、提高查询效率、改善可维护性和安全性的重要手段,能够为数据处理和分析提供更好的基础。 ### 回答3: 数据规范化是一种数据处理技术,旨在消除重复数据、减少数据冗余和提高数据一致性,以便在数据库中进行有效的存储和管理。 数据规范化的目的是将数据设计成符合某种标准的格式,以便在数据库中更好地组织和管理数据。通过将数据分解成更小的、更简单的数据表,可以减少数据冗余和重复,从而提高数据的存储效率和使用效果。 我们需要数据规范化的原因有以下几点: 1. 减少数据冗余:通过数据规范化可以将冗余的数据消除或最小化,避免在数据库中存储大量重复的数据,减少存储空间的占用。 2. 提高数据一致性:通过数据规范化,可以确保数据的一致性和准确性。由于数据被分解成更小的表,可以更方便地对数据进行更新和维护,减少了数据更新时的错误和不一致性。 3. 提高数据库的性能:规范化的数据库能够更好地支持各种查询操作和数据分析,减少了数据检索和处理的时间和资源消耗。 4. 简化数据操作和维护:规范化的表结构更易于阅读和理解,使得数据操作、查询和维护工作更加简单和高效。 总之,数据规范化是数据库设计中的一项重要技术,可以提高数据存储和管理的效率和准确性,为数据操作和维护带来方便和简化。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值