sql优化实战:从40分钟到10秒(更新统计信息)

sql代码如下(这个代码只是所有代码的一部分):

     SELECT    inout.biz_date ,
                    inout.EMP_ID ,
                    inout.duty_id ,
                    inout.store_id ,
                    org_id ,
                    'use_time' AS flag ,
                    inout.OUTTIME ,
                    inout.intime ,
                    MIN(inout.inTIME) OVER ( PARTITION BY org_id,
                                             inout.BIZ_DATE ) starttime ,
                    MAX(inout.outtime) OVER ( PARTITION BY org_id,
                                              inout.BIZ_DATE ) endtime ,
                    ROW_NUMBER() OVER ( PARTITION BY org_id, inout.BIZ_DATE ORDER BY intime DESC ) rn ,  -- review by glh
                    LV_NAME ,
                    TP_NAME ,
                    store_code ,
                    is_planed ,
                    inout.holiday ,
                    ISNULL(mc.calendar_days, 0) - ISNULL(ra.attendance_days, 0) AS morning_afternoon ,
                    type_id ,
                    NULL AS plan_store_count ,
                    NULL AS visit_store_count
          FROM      ( SELECT    intime ,
                                OUTTIME ,
                                CASE WHEN CONVERT(VARCHAR(2), INTIME, 114) < '12'
                                     THEN 1
                                     ELSE 2
                                END AS morning_afternoon ,
                                v.biz_date ,
                                V.STORE_ID ,
                                ms.type_id ,
                                v.EMP_ID ,
                                emp.duty_id ,
                                LV.ITEM_NAME LV_NAME ,
                                TP.ITEM_NAME TP_NAME ,
                                org.org_id ,
                                v.is_planed ,
                                ISNULL(ms.memo10, ms.store_code) AS store_code ,
                                mc.holiday
                      FROM      tb_ss v 
                                INNER JOIN tb_sof msf ON msf.store_id = v.store_id
                                                              AND LEFT(v.biz_date,
                                                              7) = msf.biz_date
                                INNER JOIN tb_of org ON msf.org_id = org.org_id
                                                              AND org.state = '1'
                                                              AND org.level_code IN (
                                                              3, 4 )
                                                              AND v.emp_id = org.emp_id
                                                              AND msf.biz_date = org.biz_date
                                                              AND org.biz_date IN (
                                                              '2016-10' )
                                INNER JOIN tb_ef emp ON emp.emp_id = org.emp_id
                                                              AND emp.biz_date IN (
                                                              '2016-10' )
                                                              AND org.biz_date = emp.biz_date
                                INNER JOIN tb_sf ms ON ms.store_id = v.store_id
                                                              AND ms.type_id <> 112119
                                                              AND ms.biz_date IN (
                                                              '2016-10' )
                                                              AND org.biz_date = ms.biz_date
                                                              AND ms.state = '1'
                                INNER JOIN tb_cal mc ON mc.cdate = v.biz_date 
                                                              AND mc.cdate BETWEEN ISNULL(emp.EMPLOYMENT,
                                                              '2001-01-01')
                                                              AND
                                                              ISNULL(emp.dimission,
                                                              '2999-01-01')
                                LEFT JOIN TB_DICT_ITEM LV ON LV.DICT_ITEM_ID = MS.LEVEL_ID
                                LEFT JOIN TB_DICT_ITEM TP ON TP.DICT_ITEM_ID = MS.TYPE_ID
                      WHERE     intime IS NOT NULL
                                AND outtime IS NOT NULL
                                AND func_code = 'SB123'

                                AND LEFT(v.biz_date, 7) IN ( '2016-10' )
                    ) inout 
                    LEFT JOIN ( SELECT  ra.emp_id ,
                                        COUNT(DISTINCT CAST(ra.biz_date AS VARCHAR)
                                              + LTRIM(ra.morning_afternoon))
                                        * 1.0 / 2 AS attendance_days
                                FROM    TB_ATT ra
                                        INNER JOIN tb_calendar mc ON mc.cal_date = ra.biz_date
                                                              AND mc.holiday = 0
                                WHERE   ra.half_date <> 'CCZT' 
                                        AND LEFT(ra.biz_date, 7) IN (
                                        '2016-10' )
                                GROUP BY ra.emp_id
                              ) ra ON ra.emp_id = inout.emp_id
                    LEFT JOIN ( SELECT  COUNT(*) AS calendar_days
                                FROM    tb_calendar mc
                                WHERE   1 = 1
                                        AND CONVERT(VARCHAR(7), mc.cdate, 120) IN (
                                        '2016-10' )
                                        AND mc.holiday = 0
                              ) mc ON 1 = 1

运行时间: 40分钟没有出结果。

表信息:tb_SS的数据量在100w以内,其他的表都是在几千到上万条。所以,原始的数据量并不大。

结果集:最后返回的结果集在100条左右。


优化方法:通过更新统计信息,再次运行代码10秒就返回了结果。

总结:当语句比较长或复制时,而又没办法通过修改语句来简化sql,同时表中数据不是很多,少的几千行,多的就100w行时,返回结果集也不多,可以试试更新统计信息(update statistics 表)来优化,效果非常好。

但如果数据量很大,而又需要返回大量的数据,那么更新统计信息的作用就不太明显,有时候反而会更慢。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
上百节课详细讲解,需要的小伙伴自行百度网盘下载,链接见附件,永久有效。 课程介绍: 讲解一个真实的、复杂的大型企业级大数据项目,是Spark的大型项目实战课程。 通过本套课程的学习,可以积累大量Spark项目经验,迈入Spark高级开发行列。 课程特色: 1、项目中全面覆盖了Spark Core、Spark SQL和Spark Streaming这三个技术框架几乎全部的初级和高级的技术点和知识点, 让学员学以致用,通过一套课程,即掌握如何将Spark所有的技术点和知识点应用在真实的项目中,来实现业务需求! 2、项目中的4个功能横块,全郃是实际企业项目中提取出来的,并进行技术整合和改良过的功能模块.全都是企业级的复杂和真实的需求,业务模块非常之复杂,绝对不是市面上的Dem级别的大数据项目能够想比拟的,学习过后,真正帮助学员增加实际 企业级项目的实战经验。 3、项目中通过实际的功能模块和业务场景,以及讲师曾经开发过的处理十亿、甚至百亿以上数据级别的SparK作业的经验积累,贯穿讲解了大量的高级复杂的性能调优技术和知识、troubleshooting解决线上报错和故障的经验、高端的全方位数据倾斜处理和解决方案.真正帮助学员掌握高精尖的Spark技术! 4、项目中采用完全还原企业大数据项目开发场景的方式来讲解,每一个业务模块的讲解都包括了需求分析、方案设计、数据设计、编码实现、功能测试、性能调优等环节,真实还原企业级大数据项目开发场景。 模块简介: 1、用户访问session分析,该模块主要是对用户访问session进行统计分析.包括session的聚合指标计算、 按时间比例随机抽取session、获取每天点击、下单和购买排名前10的品类、并获取top10品类的点击量排名前10的session.该模块可以让产品经理、数据分析师以及企业管理层形象地看到各种条件下的具体用户行为以及统计指标.从而对公司的产品设计以及业务发展战略做出调整.主要使用Spark Core实现. 2、页面单跳转化率统计,该模块主要是计算关键页面之间的单步跳转转化率,涉及到页面切片算法以及页面流匹配算法.该模块可以让产品经理、数据分析师以及企业管理层看到各个关键页面之间的转化率.从而对网页布局,进行更好的优化设计。主要使用Spark Core实现. 3、热门商品离线统计,该模块主要实现每天统计出各个区域的top3热门商品.然后使用Oozie进行离线统计任务的定时调度,使用Zeppeline进行数据可视化的报表展示.该模块可以让企业管理层看到公司售卖的 商品的整体情况,从而对公司的商品相关的战略进行调螫.主要使用Spark SQL实现。 4、广告流量实时统计.该模块负责实时统计公司的广告流量.包括广告展现流量和广告点击流量,实现动态黑名单机制以及黑名单过滤,实现滑动窗口内的各城市的广告展现流立和广告点击流直的统计,实现 每个区域诲个广告的点击流置实时统计,实现每个区域top3点击量的广告的统计,主要使用Spark Streaming实现.

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值