海量数据挖掘--DB优化篇

本文探讨了数据库优化的三大方面:设计之初优化、SQL语句和资源管理。在设计之初,提出了反范式思维、建立索引、合理划分表等策略;在SQL语句层面,强调了日志系统和全索引扫描的重要性;资源管理中,讨论了参数调整和硬件升级对性能的影响。通过这些优化措施,可提升大数据处理效率。
摘要由CSDN通过智能技术生成

         上一篇博客我们介绍了针对大数据量的处理,我们应该对程序做什么样的处理,但是一个程序的优化是有底线的,我们要考虑人力,物力,程序的优化是海量数据处理的一部分,这里介绍我们的重头戏,对数据库的优化!

         这里我们将数据库的优化,分为三个大的方面:


         


一,设计之初优化

     1,反范式思维

         在数据库优化的方向上,没有什么范式是绝对的,我们要根据情况设计合理的表结构,一味地追求完美的三范式是一个错误且固执的想法!

        举例:大家看看这两个考试记录表的设计区别:

        

         分析:

         我们看,哪个更符合三范式呢,明显是第二个,因为第一个设计有分值这个字段的冗余,也有得分的冗余,这样

评论 34
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值