对于Mysql大量数据查询速度慢的问题

最新推荐文章于 2024-06-24 10:33:44 发布

weixin_34072159

最新推荐文章于 2024-06-24 10:33:44 发布

阅读量7.7k

点赞数 1

文章标签：数据库 python 大数据

原文链接：https://my.oschina.net/u/1399599/blog/1536886

版权

2019独角兽企业重金招聘Python工程师标准>>>

1.如果mysql数据量过大，当查询的时候耗时比较长，则会影响页面数据展示。给客户的直观反应的：

点击了某个查询功能，结果等了差不多十几秒才反应出来，这样的体验感太差了。

2.为了增加反应速度。一般来是建立索引，如我现在的查询语句：

SELECT
                aa.INDI_NAME,
                aa.gg,
                aa.gp,
                aa.pn,
                bb.report_name
            FROM
                (
                    SELECT
                        T.INDI_ID,
                        T.INDI_NAME,
                       SUM(CASE WHEN T.AREA_ID =2501 THEN T.INDI_VALUE ELSE 0 END) gg,
                       SUM(CASE WHEN T.AREA_ID =2502 THEN T.INDI_VALUE ELSE 0 END) gp,
                       SUM(CASE WHEN T.AREA_ID =2503 THEN T.INDI_VALUE ELSE 0 END) pn
              FROM  VW_ST_INDEX_INST_DAY_2310_DT_X T
             WHERE T.MONTH_NO = '201708'
               AND T.DATE_NO = '20170831'
               AND T.LATN_ID = '1100'
               AND T.TYPE_ID < '99'
               AND T.REPORT_ID = '23100104' -- 该至是个变至1到4变化 例如：23100101，23100102，23100103，23100104
             GROUP BY T.INDI_ID, T.INDI_NAME

            UNION ALL

            SELECT T.INDI_ID, T.INDI_NAME,
                       SUM(CASE WHEN T.AREA_ID =2501 THEN T.INDI_VALUE ELSE 0 END) gg,
                       SUM(CASE WHEN T.AREA_ID =2502 THEN T.INDI_VALUE ELSE 0 END) gp,
                       SUM(CASE WHEN T.AREA_ID =2503 THEN T.INDI_VALUE ELSE 0 END) pn
              FROM  VW_ST_INDEX_INST_DAY_2310_DT_X T
             WHERE T.MONTH_NO = '201708'
               AND T.LATN_ID = '1100'
               AND T.DATE_NO <= '20170831'
               AND T.TYPE_ID ='99'
               AND T.REPORT_ID = '23100104'  -- 该至是个变至1到4变化 例如：23100101，23100102，23100103，23100104
             GROUP BY T.INDI_NAME, T.INDI_ID) aa,
            (SELECT
                *
             from dim_report_conf
             where report_id = '23100104') bb  -- 该至是个变至1到4变化 例如：23100101，23100102，23100103，23100104

如下反应速度比较慢是2秒

建立索引：

索引语句：

CREATE INDEX vwIndexIdLAAAA on vw_st_index_inst_day_2310_dt_x (REPORT_ID,LATN_ID,DATE_NO);

然后再次或者多次查询就变成了0.009秒了

所以还是建立索引比较快。

Specified key was too long; max key length is 767

如果出现这种错误：Specified key was too long; max key length is 767

则是你数据库字段太长了，需要修改具体的长度计算规则如下：

经过查询才知道，是Mysql的字段设置的太长了，于是我把这两个字段的长度改了一下就好了。

建立索引时，数据库计算key的长度是累加所有Index用到的字段的char长度后再按下面比例乘起来不能超过限定的key长度1000：
latin1 = 1 byte = 1 character
uft8 = 3 byte = 1 character
gbk = 2 byte = 1 character
举例能看得更明白些，以GBK为例：
CREATE UNIQUE INDEX `unique_record` ON reports (`report_name`, `report_client`, `report_city`);
其中report_name varchar(200), report_client varchar(200), report_city varchar(200)
(200 + 200 +200) * 2 = 1200 > 1000，所有就会报1071错误，只要将report_city改为varchar(100)那么索引就能成功建立。
如果表是UTF8字符集，那索引还是建立不了。

(200 + 200 +200) * 3 = 1800 大于提示信息字段。

转载于:https://my.oschina.net/u/1399599/blog/1536886