数据库冗余字段解决思路

最新推荐文章于 2024-08-07 17:53:35 发布
最新推荐文章于 2024-08-07 17:53:35 发布
阅读量2.3k 收藏
点赞数
分类专栏： 数据库 文章标签： 数据库梳理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/guoyanga1/article/details/102747944
版权

保证业务情况下

前期收集整理

数据统计痛点

数据组作报表数据对冗余字段不知取那里为准的疑问，会对报表结果产生准确性影响

开发自查冗余字段上报

开发整理每个模块，核心表和小场景的冗余字段，优先梳理核心表
原则上除了关联关系，同一个字段信息不要在2个表中同时维护

中期确认不再维护字段并且整理对应代码

平滑剔除字段

1.梳理确认的要剔除冗余字段
2.排查出此字段所有关联的业务场景
3.开发停止对该字段写入和读取(统一操作保留字段)
4.强烈建议按照模块逐步进行，确保系统稳定(比如一次只改一个模块的相关表)

后期删除字段与培训

平滑剔除三个月后对字段进行删除

1.剔除的冗余字段不能立马删除，需要在系统中保留三个月(避免因为排查遗漏造成线上错误)
2.定期查该字段时候有新数据进入，如果有及时查找，一切正常后合适的时间节点删除该字段

维护共有的表结构介绍wiki

1.添加字段的时候及时更新，不要添加已存在的字段

似阳似海
关注
专栏目录
设计数据库时，【视图的使用】和【数据表冗余数据】的小结
hgwyl的专栏
12-06 478
最近在做一个相对复杂的整站，某个页面有相对复杂的业务逻辑，出现了反复bug反复修改的情况，甚至是需要将之前做的一些数据表、存储过程、页面进行修改。 这2天在总结这个情况时，也想起以前遇见过的一些“问题”的讨论。 确定需要提醒自己：视图要用，而且确实可以简化过程。（今早决定，手上的这个整站，干脆直接推翻掉不对的地方，重新写） 下面的内容，仅供参考。 如有不对，请各路大神指点。 一、视图的使用 之前对于视图的了解，仅仅是自己的总结：一段查询代码，将数据表根据需要查询出来，供查询使用；为了数据一致性，
一文彻底解析数据库设计思路
m0_67322837的博客
08-05 1292
H+ 不能去掉.尝试去掉 bc->d, 得到 G={a→b,ac→d}, {b,c}G+ = {b,c}, 不包含 d, 不能去掉尝试去掉 ac->d, G={a→b,b⁢c→d}, {a,c}G+ = {a,c,b,d}, 包含了 d, 所以去掉后的函数依赖集 G 仍然可以推导出所有的函数依赖, 即 G+ = F+ , 是非关键依赖, 可以去掉。F={A→B},T1⁡(A,B),T2⁡(A,C) ,Head(T1) ∩ Head(T2 ) = A, 而 A->AB, 所以是无损分解....
MySQL冗余数据的三种方案
07-03
互联网数据量大的业务场景，常常: • 使用水平切分来降低单库数据量 • 使用数据冗余的反范式设计来满足不同维度的查询需求 • 使用服务同步双写法能够很容易的实现数据冗余 • 为了降低时延，可以优化为服务异步双写法 • 为了屏蔽“冗余数据”对服务带来的复杂性，可以优化为线下异步双写法
冗余字段刷新策略
bilibilidicks的博客
01-22 1144
首先将主查询的left join拿掉，将主查询得到的逻辑外键字段通过sql的in语句查询出的列表映射为（主键：实体），然后再对主查询的列表一次循环，将需要放入的逻辑外键对应的业务字段进行set操作。2、每隔一定时间利用定时任务查询此条未同步或者部分同步的数据并解析，进行所有模块的更新，并在互斥代码块中将同步状态置为同步中，所有模块更新完后，将同步状态置为已同步，否则置为未同步或者部分同步。新建一个名为冗余字段表的数据库表，当客户表或其他冗余字段源表进行更新或删除时，异步的往此表插入或更新此表的信息。
数据库设计中的冗余字段：利弊与应用
最新发布
xycxycooo的博客
08-07 539
冗余字段是指在数据库表中存储了重复或可从其他数据推导出的信息。例如，在一个存储订单信息的表中，除了存储订单号、客户ID、产品ID等基本信息外，还存储了客户的姓名和地址，而这些信息实际上可以从客户表中获取。冗余字段作为数据库设计中的一种优化手段，既有其独特的优势，也存在潜在的风险。在实际应用中，应根据具体的业务需求和系统性能要求，综合考虑查询性能、存储空间、数据一致性和维护成本等因素，合理选择和使用冗余字段。
冗余字段同步更新/填充框架rdt-v2
if_you_can_please_do的博客
11-15 1366
rdt-v2 rdt-v2是一款基于注解构建完成后的关系更新/填充实体字段的框架,用于管理冗余字段关系,进行批量更新或自动填充数据关系,避免重复编写多次逻辑代码的操作 项目地址: 直达 特性： 使用简单,依赖性低 完成java bean类数据关系的维护 基于条件注解和依赖字段注解,通过条件标识对应持久化类中唯一数据 对数据操作层进行抽象,可根据具体场景自行实现/覆盖数据层数据的操作方法 基于方...
数据库冗余字段的同步策略和管理
岁月静好
09-24 2252
冗余字段的使用在多表联合查询都是大数据量的表的情况下，确实是个不错的选择，有效的减少了IO操作。但结合已有的项目产品来看，冗余字段确实是双刃剑。尤其是大项目的开发，如果忽略某个表的冗余字段的更新，那么后果是灾难性的。如何有效的管理冗余字段是开发组内必须解决的问题。我的解决方案是：使用专门的表来管理冗余字段。例如article表有以下冗余字段 fromUserName,toUserName 如何管理这两个字段呢？通过建立一个表，表结构如下 id,objTable,objName,sourceTable,
利用Apache BeanUtils实现冗余字段同步和管理
不懂不懂
07-18 2451
摘要：在长流程的工作流事务中，实际的业务表单之间存在较多的相同字段，我们在软件设计的时，为了提高查询的效率，相应的会允许表单对应的数据库表存在一定的冗余，这就对表单之间的这些冗 本文介绍了一种配置化管理字段映射并利用 Apache BeanUtils 工具包的实现方案，可以灵活有效的对表单之间的冗余字段进行同步和管理。 在长流程的工作流事务中，实际的业务表单之间存在较多的相同字段，我们在软件设
数据库课程设计你应该有的思路
02-16
10. **数据库维护**：定期检查数据库健康状态，进行性能监控，及时发现和解决问题。 11. **NoSQL与NewSQL**：除了传统的SQL数据库，了解NoSQL（非关系型数据库）和NewSQL（高性能分布式数据库）的特点和应用场景，...
Oracle数据库性能的优化设计思路研究.pdf
10-09
这些思路和实践对于确保Oracle数据库在复杂环境中的稳定性和高性能运行具有重要意义。通过深入理解和应用这些优化技巧，可以更好地支持业务需求，提高用户满意度，并为企业的信息化建设提供强大支撑。
数据库设计思路
君莫笑
10-31 7437
数据库设计追求逐渐完善，不求一下子完美
数据库冗余字段的策略和管理
翎野君的博客
01-24 282
思路 冗余字段的使用在多表联合查询都是大数据量的表的情况下，确实是个不错的选择，有效的减少了IO操作。但结合已有的项目产品来看，冗余字段确实是双刃剑。尤其是大项目的开发，如果忽略某个表的冗余字段的更新，那么后果是灾难性的。如何有效的管理冗余字段是开发组内必须解决的问题。我的解决方案是：使用专门的表来管理冗余字段。例如article表有以下冗余字段 fromUserName,toUserName ...
浅谈数据库设计冗余和效率的取舍
hyh22222的博客
09-17 1130
下午开会谈到公司的数据库里面几个基础的表。其中谈到数据库设计的冗余和效率的取舍。 多表关联的时候很容易出现数据的冗余。比如在在食材分类表中有涉及到食材的三级分类信息——三个字段。在商品表中也有食材的三级分类的信息——三个字段。 正常情况下，只需要用商品表中有食材的id关联食材分类表中的id就可以实现多表联机查询，这样是不存在冗余的。 但是，这样的设计会牺牲效率。 在数据量比较大和需求比较强
alter添加多个字段_数据库性能优化之冗余字段的作用
weixin_39805119的博客
11-23 155
前言按照第三范式的要求，是不应该存在冗余字段的，但有时候冗余字段可以提高性能，是可以使用的。什么是冗余字段？在设计数据库时，某一字段属于一个表，但它又同时出现在另一个或多个表，且完全等同于它在其本来所属表的意义表示，那么这个字段就是一个冗余字段。加深理解在设计数据库的时候，应该注意一下什么呢？首先来看一张表。学生成绩表思考：上面这张表在设计上会出现什么问题？　　作为初学者看到这张表是回答不出什么问...
冗余数据同步方案
CUITLY_的博客
07-26 545
商品用户客户员工店铺仓库供应商这些数据修改后，需要同步到历史快照订单，发货单，订货单，采购单，调拨单，出库入库单等等....，之前的逻辑是直接在update接口里面加上synchronousUpdate方法，同步更新对应的表，有时候一个业务的update可能对应二十多张目标表，完全耦合在了业务里，接口执行的效率和代码的可维护性都不强生产是在Handler里做的。
冗余数据与多表查询的选择
c_c_y_CC的博客
03-05 2585
数据冗余与多表查询的选择 最近在家闲得无聊，和一个前端小伙伴联手在开发一个博客网站，遇到了一个mysql上的性能优化问题，在数据处理上，联表查询以及数据冗余操作，应该如何取舍，这个就涉及到了数据库的范式以及反范式 问题描述 获取博客文章评论的时候，需要同时获取评论者的昵称以及头像图片链接，那么这个时候是启用多表查询呢，还是采用数据冗余呢，可能会有人想都不想直接联表查询吧，也可能会有人说数据冗...
数据库性能优化之冗余字段的作用
afa的专栏
11-19 953
在设计数据库时，某一字段属于一个表，但它又同时出现在另一个或多个表，且完全等同于它在其本来所属表的意义表示，那么这个字段就是一个冗余字段。 ——以上是我自己给出的定义 冗余字段的存在到底是好还是坏呢？这是一个不好说的问题。可能在有人看来，这是一个很蹩脚的数据库设计。因为在数据库设计领域，有一个被大家奉为圭臬的数据库设计范式，这个范式理论上要求数据库设计逻辑清晰、关系明确，比如，”用户昵称”字...
2024年大数据最新冗余双写方案下数据一致性问题解决及延申问题处理方案，大数据开发面试题整理最新
2401_84181524的博客
05-09 307
/key1是短链码，ARGV[1]是accountNo,ARGV[2]是过期时间。(img-qS8YU8ov-1715266836926)](img-QN3fOM2X-1715266836927)]* 如果还是用雪花算法，则容易C端和B端不一致，所以才用编号递增+1的方式。(img-mAlKlyR2-1715266836926)]使用原子命令：设置和配置过期时间 setnx / setex。//睡眠100毫秒，然后自旋调用本方法。* 如果短链码重复，则调用这个方法。//做对应的业务逻辑。
数据库范式实例：如何消除冗余和高效存取？
过招
05-10 4198
在超市项目的设计阶段，超市经营者把他们正在用的 Excel 表格给到我们，要求我们把这些数据存储到超市管理系统的数据库中。我挑选了 1 个有代表性的表来举例说明。 进货单表（import）： 这个表中的字段很多，包含了各种信息，表里的数据量也很惊人。我们刚拿到这个表的时 候，光是打开表这个操作，就需要等十几秒。 仔细一看，发现表里重复的数据非常多：比如第一行和第二行的数据，同样是 3478 号单据，供货商编号、供货商名称和仓库，这 3 个字段的信息完全相同。可是这 2 条数据的后半部分又不相同，因此，并.
数据库的设计思路该怎么描述
05-03
数据库的设计思路主要包括以下几个方面： 1. 分析需求：首先需要分析用户的需求，确定数据库需要存储哪些数据，以及这些数据的属性和关系等。 2. 设计模型：在确定需求后，需要设计数据库的逻辑模型，包括实体-关系（ER）图、数据流程图等。 3. 规范化：对设计的逻辑模型进行规范化，消除冗余数据，以提高查询效率和数据存储效率。 4. 选择数据库管理系统（DBMS）：根据需求和设计模型选择合适的数据库管理系统，比如MySQL、Oracle等。 5. 物理设计：将逻辑模型转化为物理模型，包括表的结构、字段、索引、约束等，以及设计数据库的存储结构。 6. 编写SQL语句：根据需求和物理设计，编写SQL语句，创建表、插入数据、查询数据等操作。 7. 实现和测试：根据设计思路和SQL语句，实现数据库的建立和管理，并进行测试，确保数据库的正确性和稳定性。 总之，数据库的设计思路需要从需求分析、逻辑模型设计、规范化、DBMS选择、物理设计、SQL语句编写和实现测试等方面进行综合考虑。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值