线上千万级大表查询从10分多钟降到4.197484秒我是怎么做到的

最新推荐文章于 2023-05-23 19:00:00 发布
最新推荐文章于 2023-05-23 19:00:00 发布
阅读量278 收藏 1
点赞数
分类专栏： 工作问题 文章标签： sql 数据库 mysql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38738049/article/details/120557722
版权

原始sql
下面展示一些 内联代码片。

 SELECT
        max( a.number ) as number ,
        sum( a.dodmoney ) as billmoney,
        a.carno,
        a.color,
        a.parkinglotid,
       b.name as parkinglotName


        FROM
        (
        SELECT
        count(*) AS number,
        sum(billmoney ) AS dodmoney,
        carno,
        color,
        parkinglotid
        FROM
        t_parking_record
        WHERE
         carno IS NOT NULL AND
        outtime BETWEEN '2021-01-14 19:07:00'
        AND '2021-09-14 19:07:00'
        AND state = 5
        GROUP BY
        carno,
        parkinglotid,
        color
        )  a left join t_parkinglot b
        on a.parkinglotid=b.id
        GROUP BY
        a.carno,
        a.color
        HAVING
        billmoney>=150
        order by billmoney desc

先EXPLAIN分析一下：
使用了临时表和文件内存排序
在这里插入图片描述
然后再来看一下这表目前的索引
在这里插入图片描述
目前表的索引都是单个字段进行的，根据sql的分析结果，由于查询没有走索引在加上group by 最后还有join操作，导致速度下降。在对业务进行分析以后，打算把join操作单独领出来，先把单表结果找出最后在分别查出对应结果。
此问题就转化成了如何优化单表的按条件分组排序查询。
2优化思路将left join连接去除
我们都知道索引是一种有序的数据结构，在查询使用覆盖索引的时候，mysql最后直接返回索引数据而且不用回表操作。顺着这个思路我建立了一个新的索引，这个索引目前只针对这个业务。
索引如下图所示
添加覆盖索引
在这里插入图片描述
根据资料
查找了网上一些博客分析GROUP BY 与临时表的关系 :

  1. 如果GROUP BY 的列没有索引,产生临时表.
  2. 如果GROUP BY时,SELECT的列不止GROUP BY列一个,并且GROUP BY的列不是主键 ,产生临时表.
  3. 如果GROUP BY的列有索引,ORDER BY的列没索引.产生临时表.
  4. 如果GROUP BY的列和ORDER BY的列不一样,即使都有索引也会产生临时表.
  5. 如果GROUP BY或ORDER BY的列不是来自JOIN语句第一个表.会产生临时表.
  6. 如果DISTINCT 和 ORDER BY的列没有索引,产生临时表.

想要优化SQL就需要知道SQL是怎么运行的。
现在的SQL是这样的。
修改sql为
select a.carno,
a.color,
sum( a.billmoney ) as billmoney from(
SELECT
carno,
color,
billmoney

    FROM
    t_parking_record 
    WHERE
     outtime BETWEEN '2021-01-14 19:07:00'
    AND '2021-09-14 19:07:00' and
     carno IS NOT NULL AND
     state = 5 
   ) a
    GROUP BY
   a.carno,
    a.color
    having   billmoney>=0
    order by billmoney desc

查看 optimizer trace 信息
SET OPTIMIZER_TRACE=“enabled=on”,END_MARKERS_IN_JSON=ON; # be readable
SET OPTIMIZER_TRACE_MAX_MEM_SIZE=1000000; # avoid small default
SET optimizer_trace_offset=-30, optimizer_trace_limit=30;

{
  "steps": [
    {
      "join_preparation": {
        "select#": 1,
        "steps": [
          {
            "expanded_query": "/* select#1 */ select `t_parking_record`.`carno` AS `carno`,`t_parking_record`.`color` AS `color`,sum(`t_parking_record`.`billmoney`) AS `billmoney` from `t_parking_record` where ((`t_parking_record`.`outtime` between '2021-01-14 19:07:00' and '2021-09-14 19:07:00') and (`t_parking_record`.`carno` is not null) and (`t_parking_record`.`state` = 5)) group by `t_parking_record`.`carno`,`t_parking_record`.`color` having (`billmoney` >= 0) order by `billmoney` desc limit 0,1000"
          }
        ] /* steps */
      } /* join_preparation */
    },
    {
      "join_optimization": {
        "select#": 1,
        "steps": [
          {
            "condition_processing": {
              "condition": "WHERE",
              "original_condition": "((`t_parking_record`.`outtime` between '2021-01-14 19:07:00' and '2021-09-14 19:07:00') and (`t_parking_record`.`carno` is not null) and (`t_parking_record`.`state` = 5))",
              "steps": [
                {
                  "transformation": "equality_propagation",
                  "resulting_condition": "((`t_parking_record`.`outtime` between '2021-01-14 19:07:00' and '2021-09-14 19:07:00') and (`t_parking_record`.`carno` is not null) and multiple equal(5, `t_parking_record`.`state`))"
                },
                {
                  "transformation": "constant_propagation",
                  "resulting_condition": "((`t_parking_record`.`outtime` between '2021-01-14 19:07:00' and '2021-09-14 19:07:00') and (`t_parking_record`.`carno` is not null) and multiple equal(5, `t_parking_record`.`state`))"
                },
                {
                  "transformation": "trivial_condition_removal",
                  "resulting_condition": "((`t_parking_record`.`outtime` between '2021-01-14 19:07:00' and '2021-09-14 19:07:00') and (`t_parking_record`.`carno` is not null) and multiple equal(5, `t_parking_record`.`state`))"
                }
              ] /* steps */
            } /* condition_processing */
          },
          {
            "condition_processing": {
              "condition": "HAVING",
              "original_condition": "(`billmoney` >= 0)",
              "steps": [
                {
                  "transformation": "constant_propagation",
                  "resulting_condition": "(`billmoney` >= 0)"
                },
                {
                  "transformation": "trivial_condition_removal",
                  "resulting_condition": "(`billmoney` >= 0)"
                }
              ] /* steps */
            } /* condition_processing */
          },
          {
            "substitute_generated_columns": {
            } /* substitute_generated_columns */
          },
          {
            "table_dependencies": [
              {
                "table": "`t_parking_record`",
                "row_may_be_null": false,
                "map_bit": 0,
                "depends_on_map_bits": [
                ] /* depends_on_map_bits */
              }
            ] /* table_dependencies */
          },
          {
            "ref_optimizer_key_uses": [
              {
                "table": "`t_parking_record`",
                "field": "state",
                "equals": "5",
                "null_rejecting": false
              }
            ] /* ref_optimizer_key_uses */
          },
          {
            "rows_estimation": [
              {
                "table": "`t_parking_record`",
                "range_analysis": {
                  "table_scan": {
                    "rows": 2723798,
                    "cost": 567538
                  } /* table_scan */,
                  "potential_range_indexes": [
                    {
                      "index": "PRIMARY",
                      "usable": false,
                      "cause": "not_applicable"
                    },
                    {
                      "index": "uk_parkingid_intime",
                      "usable": false,
                      "cause": "not_applicable"
                    },
                    {
                      "index": "index_state",
                      "usable": true,
                      "key_parts": [
                        "state",
                        "id"
                      ] /* key_parts */
                    },
                    {
                      "index": "index_parkinglotid",
                      "usable": false,
                      "cause": "not_applicable"
                    },
                    {
                      "index": "index_parkingid",
                      "usable": false,
                      "cause": "not_applicable"
                    },
                    {
                      "index": "index_carno",
                      "usable": true,
                      "key_parts": [
                        "carno",
                        "id"
                      ] /* key_parts */
                    },
                    {
                      "index": "index_intime",
                      "usable": false,
                      "cause": "not_applicable"
                    },
                    {
                      "index": "index_outtime",
                      "usable": true,
                      "key_parts": [
                        "outtime",
                        "id"
                      ] /* key_parts */
                    },
                    {
                      "index": "index_creater",
                      "usable": false,
                      "cause": "not_applicable"
                    },
                    {
                      "index": "index_modifer",
                      "usable": false,
                      "cause": "not_applicable"
                    },
                    {
                      "index": "index_id",
                      "usable": false,
                      "cause": "not_applicable"
                    },
                    {
                      "index": "index_ccp",
                      "usable": true,
                      "key_parts": [
                        "outtime",
                        "carno",
                        "state",
                        "color",
                        "billmoney",
                        "id"
                      ] /* key_parts */
                    }
                  ] /* potential_range_indexes */,
                  "best_covering_index_scan": {
                    "index": "index_ccp",
                    "cost": 592547,
                    "chosen": false,
                    "cause": "cost"
                  } /* best_covering_index_scan */,
                  "setup_range_conditions": [
                  ] /* setup_range_conditions */,
                  "group_index_range": {
                    "chosen": false,
                    "cause": "not_applicable_aggregate_function"
                  } /* group_index_range */,
                  "analyzing_range_alternatives": {
                    "range_scan_alternatives": [
                      {
                        "index": "index_state",
                        "ranges": [
                          "5 <= state <= 5"
                        ] /* ranges */,
                        "index_dives_for_eq_ranges": true,
                        "rowid_ordered": true,
                        "using_mrr": false,
                        "index_only": false,
                        "rows": 1361899,
                        "cost": 1.63e6,
                        "chosen": false,
                        "cause": "cost"
                      },
                      {
                        "index": "index_carno",
                        "ranges": [
                          "NULL < carno"
                        ] /* ranges */,
                        "index_dives_for_eq_ranges": true,
                        "rowid_ordered": false,
                        "using_mrr": false,
                        "index_only": false,
                        "rows": 1361899,
                        "cost": 1.63e6,
                        "chosen": false,
                        "cause": "cost"
                      },
                      {
                        "index": "index_outtime",
                        "ranges": [
                          "0x99a89d31c0 <= outtime <= 0x99aa9d31c0"
                        ] /* ranges */,
                        "index_dives_for_eq_ranges": true,
                        "rowid_ordered": false,
                        "using_mrr": false,
                        "index_only": false,
                        "rows": 1361899,
                        "cost": 1.63e6,
                        "chosen": false,
                        "cause": "cost"
                      },
                      {
                        "index": "index_ccp",
                        "ranges": [
                          "0x99a89d31c0 <= outtime <= 0x99aa9d31c0"
                        ] /* ranges */,
                        "index_dives_for_eq_ranges": true,
                        "rowid_ordered": false,
                        "using_mrr": false,
                        "index_only": true,
                        "rows": 1361899,
                        "cost": 296274,
                        "chosen": true
                      }
                    ] /* range_scan_alternatives */,
                    "analyzing_roworder_intersect": {
                      "usable": false,
                      "cause": "too_few_roworder_scans"
                    } /* analyzing_roworder_intersect */
                  } /* analyzing_range_alternatives */,
                  "chosen_range_access_summary": {
                    "range_access_plan": {
                      "type": "range_scan",
                      "index": "index_ccp",
                      "rows": 1361899,
                      "ranges": [
                        "0x99a89d31c0 <= outtime <= 0x99aa9d31c0"
                      ] /* ranges */
                    } /* range_access_plan */,
                    "rows_for_plan": 1361899,
                    "cost_for_plan": 296274,
                    "chosen": true
                  } /* chosen_range_access_summary */
                } /* range_analysis */
              }
            ] /* rows_estimation */
          },
          {
            "considered_execution_plans": [
              {
                "plan_prefix": [
                ] /* plan_prefix */,
                "table": "`t_parking_record`",
                "best_access_path": {
                  "considered_access_paths": [
                    {
                      "access_type": "ref",
                      "index": "index_state",
                      "rows": 1.36e6,
                      "cost": 340708,
                      "chosen": true
                    },
                    {
                      "rows_to_scan": 1361899,
                      "access_type": "range",
                      "range_details": {
                        "used_index": "index_ccp"
                      } /* range_details */,
                      "resulting_rows": 340475,
                      "cost": 568654,
                      "chosen": false
                    }
                  ] /* considered_access_paths */
                } /* best_access_path */,
                "condition_filtering_pct": 25,
                "rows_for_plan": 340475,
                "cost_for_plan": 340708,
                "chosen": true
              }
            ] /* considered_execution_plans */
          },
          {
            "attaching_conditions_to_tables": {
              "original_condition": "((`t_parking_record`.`state` = 5) and (`t_parking_record`.`outtime` between '2021-01-14 19:07:00' and '2021-09-14 19:07:00') and (`t_parking_record`.`carno` is not null))",
              "attached_conditions_computation": [
              ] /* attached_conditions_computation */,
              "attached_conditions_summary": [
                {
                  "table": "`t_parking_record`",
                  "attached": "((`t_parking_record`.`outtime` between '2021-01-14 19:07:00' and '2021-09-14 19:07:00') and (`t_parking_record`.`carno` is not null))"
                }
              ] /* attached_conditions_summary */
            } /* attaching_conditions_to_tables */
          },
          {
            "clause_processing": {
              "clause": "ORDER BY",
              "original_clause": "`billmoney` desc",
              "items": [
                {
                  "item": "sum(`t_parking_record`.`billmoney`)"
                }
              ] /* items */,
              "resulting_clause_is_simple": false,
              "resulting_clause": "`billmoney` desc"
            } /* clause_processing */
          },
          {
            "clause_processing": {
              "clause": "GROUP BY",
              "original_clause": "`t_parking_record`.`carno`,`t_parking_record`.`color`",
              "items": [
                {
                  "item": "`t_parking_record`.`carno`"
                },
                {
                  "item": "`t_parking_record`.`color`"
                }
              ] /* items */,
              "resulting_clause_is_simple": true,
              "resulting_clause": "`t_parking_record`.`carno`,`t_parking_record`.`color`"
            } /* clause_processing */
          },
          {
            "added_back_ref_condition": "((`t_parking_record`.`state` <=> 5) and ((`t_parking_record`.`outtime` between '2021-01-14 19:07:00' and '2021-09-14 19:07:00') and (`t_parking_record`.`carno` is not null)))"
          },
          {
            "reconsidering_access_paths_for_index_ordering": {
              "clause": "GROUP BY",
              "index_order_summary": {
                "table": "`t_parking_record`",
                "index_provides_order": false,
                "order_direction": "undefined",
                "index": "index_state",
                "plan_changed": false
              } /* index_order_summary */
            } /* reconsidering_access_paths_for_index_ordering */
          },
          {
            "refine_plan": [
              {
                "table": "`t_parking_record`",
                "pushed_index_condition": "(`t_parking_record`.`state` <=> 5)",
                "table_condition_attached": "((`t_parking_record`.`outtime` between '2021-01-14 19:07:00' and '2021-09-14 19:07:00') and (`t_parking_record`.`carno` is not null))"
              }
            ] /* refine_plan */
          },
          {
            "sort_using_internal_table": {
              "condition_for_sort": "(`billmoney` >= 0)",
              "having_after_sort": null
            } /* sort_using_internal_table */
          }
        ] /* steps */
      } /* join_optimization */
    },
    {
      "join_execution": {
        "select#": 1,
        "steps": [
          {
            "creating_tmp_table": {
              "tmp_table_info": {
                "table": "intermediate_tmp_table",
                "row_length": 133,
                "key_length": 126,
                "unique_constraint": false,
                "location": "memory (heap)",
                "row_limit_estimate": 126144
              } /* tmp_table_info */
            } /* creating_tmp_table */
          },
          {
            "filesort_information": [
              {
                "direction": "desc",
                "table": "intermediate_tmp_table",
                "field": "billmoney"
              }
            ] /* filesort_information */,
            "filesort_priority_queue_optimization": {
              "usable": false,
              "cause": "not applicable (no LIMIT)"
            } /* filesort_priority_queue_optimization */,
            "filesort_execution": [
            ] /* filesort_execution */,
            "filesort_summary": {
              "rows": 64616,
              "examined_rows": 64616,
              "number_of_tmp_files": 0,
              "sort_buffer_size": 1615656,
              "sort_mode": "<sort_key, rowid>"
            } /* filesort_summary */
          }
        ] /* steps */
      } /* join_execution */
    }
  ] /* steps */
}

前面一大堆都是分析索引还有扫描行数，计算查询代价，最后执行计划看
根据最后的索引代价并没有走我们想要的索引
“considered_execution_plans”: [
{
“plan_prefix”: [
] /* plan_prefix /,
“table”: “t_parking_record”,
“best_access_path”: {
“considered_access_paths”: [
{
“access_type”: “ref”,
“index”: “index_state”,
“rows”: 1.36e6,
“cost”: 340708,
“chosen”: true
},
{
“rows_to_scan”: 1361899,
“access_type”: “range”,
“range_details”: {
“used_index”: “index_ccp”
} / range_details /,
“resulting_rows”: 340475,
“cost”: 568654,
“chosen”: false
}
] / considered_access_paths /
} / best_access_path /,
“condition_filtering_pct”: 25,
“rows_for_plan”: 340475,
“cost_for_plan”: 340708,
“chosen”: true
}
最后选的是index_state，并没有走我们的索引于是调整索引
顺序，进行索引覆盖
调整后如下图所示
在这里插入图片描述
新的trace 如下
截取了相关的最后索引选择
“considered_execution_plans”: [
{
“plan_prefix”: [
] / plan_prefix /,
“table”: “t_parking_record”,
“best_access_path”: {
“considered_access_paths”: [
{
“access_type”: “ref”,
“index”: “index_state”,
“rows”: 1.36e6,
“cost”: 340708,
“chosen”: true
},
{
“access_type”: “ref”,
“index”: “index_cpp”,
“rows”: 1.36e6,
“cost”: 296274,
“chosen”: true
},
{
“rows_to_scan”: 1361899,
“access_type”: “range”,
“range_details”: {
“used_index”: “index_cpp”
} / range_details /,
“resulting_rows”: 680950,
“cost”: 568654,
“chosen”: false
}
] / considered_access_paths /
} / best_access_path /,
“condition_filtering_pct”: 25,
“rows_for_plan”: 340475,
“cost_for_plan”: 296274,
“chosen”: true
}
] / considered_execution_plans /
join_execution
“join_execution”: {
“select#”: 1,
“steps”: [
{
“creating_tmp_table”: {
“tmp_table_info”: {
“table”: “intermediate_tmp_table”,
“row_length”: 133,
“key_length”: 126,
“unique_constraint”: false,
“location”: “memory (heap)”,
“row_limit_estimate”: 126144
} / tmp_table_info /
} / creating_tmp_table /
},
{
“converting_tmp_table_to_ondisk”: {
“cause”: “memory_table_size_exceeded”,
“tmp_table_info”: {
“table”: “intermediate_tmp_table”,
“row_length”: 133,
“key_length”: 126,
“unique_constraint”: false,
“location”: “disk (InnoDB)”,
“record_format”: “fixed”
} / tmp_table_info /
} / converting_tmp_table_to_ondisk /
},
{
“filesort_information”: [
{
“direction”: “desc”,
“table”: “intermediate_tmp_table”,
“field”: “billmoney”
}
] / filesort_information /,
“filesort_priority_queue_optimization”: {
“usable”: false,
“cause”: “not applicable (no LIMIT)”
} / filesort_priority_queue_optimization /,
“filesort_execution”: [
] / filesort_execution /,
“filesort_summary”: {
“rows”: 117701,
“examined_rows”: 117701,
“number_of_tmp_files”: 21,
“sort_buffer_size”: 223352,
“sort_mode”: “<sort_key, packed_additional_fields>”
} / filesort_summary /
}
] / steps /
} / join_execution */

1尝试在堆上使用memory的内存临时表来存放group by的数据，发现内存不够；
2创建一张临时表， carno,
color,
SUM( billmoney ) AS billmoney
3从索引index_cpp中取出1行，插入临时表。插入规则是如果carno不存在则直接插入，如果存在，则把billmoney 的值累加在billmoney 上；
4循环遍历索引index_cpp上满足条件之间的所有行，执行步骤3；
对临时表根据billmoney 的值做优先队列排序；
5取出最后留在堆（优先队列的堆）里面的行数据，作为结果集直接返回，不需要再回表；

优化方案2
扩充临时表空间上限大小
也就是说这里临时表的限制是16M，max_heap_table_size大小也受tmp_table_size大小的限制。
所以我们这里调整为32MB，然后执行原始的SQL
这里有个问题就是随着查询结果的变大需要再次调整大小

方案3 使用 SQL_BIG_RESULT 优化
告诉优化器，查询结果比较多，临时表直接走磁盘存储。
SELECT SQL_BIG_RESULT
carno,
color,
SUM( billmoney ) AS billmoney
FROM
t_parking_record

    WHERE
    state = 5 
    AND outtime BETWEEN '2018-01-14 19:07:00'
    AND '2021-09-14 19:07:00' AND
     carno IS NOT NULL 
     
  
    GROUP BY
   carno,
    color
    HAVING   billmoney>=0
    ORDER BY billmoney DESC

顺便值得一提的是： 当我把数据量翻倍之后，使用该方式，查询时间基本没变。因为扫描的行数还是不变的。实际测试耗时4.197484

总结
方案2需要调整临时表内存的大小，可行；不过当数据库超过32MB时，如果使用该方式，还需要继续提升临时表大小；

方案3通过索引优化完，直接声明使用磁盘来放临时表，整体响应时间快了一半。
所以最后对比，选择方案3比较合适。

后续疑问
为什么仅仅是不再尝试往内存临时表里写入这一步会相差一半的性能？
有没有工具能够统计 SQL 执行过程中的 I/O 次数？

2021年11月11日更新，对于公司的计算分析业务是OLAP场景
其实可以使用阿里开源中间件Canal 实时同步MySQL数据到es，
查询的时候走es就可以了

晴天M雨天
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
千万级数据量的表，怎样最快速度查询？
chenxuyuana的博客
07-25 2521
前言面试官： 来说说，一千万的数据，你是怎么查询的？我：直接分页查询，使用limit分页。面试官：有实操过吗？我：肯定有呀此刻献上一首《凉凉》也许有些人没遇过上千万数据量的表，也不清楚查询上千万数据量的时候会发生什么。今天就来带大家实操一下，这次是基于MySQL 5.7.26做测试准备数据没有一千万的数据怎么办？创建呗代码创建一千万？那是不可能的，太慢了，可能真的要跑一天。可以采用数据库脚本执行速度快很多。创建表CREATE TABLE `user_operation_log` ( `id` int(11
千万级别的表分页查询非常慢，怎么办？
zhaohuodian的博客
08-05 1473
订单表的情况也是类似的，只不过它的数据体量比客户表更大）。下面我们一起来测试一下，每次查询客户表时最多返回 100 条数据，不同的起始下，数据库查询性能的差异。
mysql批量更新7000条数据_【讨论】950W数据里查询7000条数据怎么这么慢？
weixin_39758956的博客
02-18 124
那个show profile中的一些指标怎么看啊mysql> show profile for query 3;+--------------------------------+-----------+| Status | Duration|+--------------------------------+-----------+| s...
Mysql中千万数据查询浅析
ldcaws的专栏
05-23 2747
假如mysql数据库中有一千万数据，如何进行查询，查询效率如何，下面进行简单的分析。
再送一波干货，测试2000线程并发下同时查询1000万条数据库表及索引优化
amhk64515的博客
08-15 810
继上篇文章《绝对干货，教你4分钟插入1000万条数据到mysql数据库表，快快进来》发布后在博客园首页展示得到了挺多的阅读量，我这篇文章就是对上篇文章的千万级数据库表在高并发访问下如何进行测试访问 这篇文章的知识点如下: 1.如何自写几十行代码就能模拟测试高并发下访问千万级数据库表 2.比较高并发下（200次/秒,2000次/秒,10000次/秒）数据库的性能 3.比较千万级数据...
千万级数据测试
上官hao的博客
12-04 1346
今日无事，想起以前面试的时候问起数据量大的相关问题，就想着模拟一下数据，做做测试和优化 一千多万条数据查询全部数量用时两秒多点，百万的时候查是1秒左右，做了几个数据统计，感觉统计不多，没办法作为参考。 下面进入无索引的条件查询某个值， 基本都要20秒多点 加了一个索引瞬间变成0.01秒多点，尝试用like %还是这个时间，看来索引真的很有效 下面又是另一个问题，索引加多了会怎么样 方便测试加了10个字段的索引，明显的发现索引添加过多占用了500M 一个的时候才100多M 查询速度呢？ 并没有变
线上教学问卷调查表.pdf
09-27
在这种情况下，我将依据《线上教学问卷调查表.pdf》这个标题本身所蕴含的含义，假设这是一份针对线上教学效果或体验的调查问卷。因此，我将基于线上教学这一主题，详细阐述线上教学问卷调查可能涉及的知识点。 线上...
20级大学生就业指导课程线上教学信息汇总表.xlsm
10-22
20级大学生就业指导课程线上教学信息汇总表.xlsm
互联网+线上教学实践：腾讯+对分易线上教学过程和体会.docx
12-16
互联网+线上教学实践：腾讯+对分易线上教学过程和体会.docx
高级腕表线上二手市集经营计画书.doc
01-01
高级腕表线上二手市集经营计画书.doc
大学生线上教育平台接受因素研究.pdf
11-28
7. 结构方程模型: 该论文采用了结构方程模型（SEM）进行实证分析，这是一种统计方法，可以同时检验多个变量之间的复杂关系，为理解和预测大学生的线上教育平台使用行为提供了有力工具。 8. 实证分析: 通过实证数据...
线上500万数据查询时间在37秒，作者将问题解决了，我看到了更大的坑
谙忆-陈浩翔
12-17 4682
线上500万数据查询时间在37秒，作者将问题解决了，我看到了更大的坑 文章目录总结一、问题背景二、看执行计划三、优化四、你以为这就结束了吗五、后续（还未解决）六、最终解决方案 总结 最近看到一篇文章，讲述了一个500万数据查询37秒的问题和解决方案。我先帮大家总结一下解决方案。 另外，看完这篇文章，我觉得虽然问题解决了。但是这个强制索引的解决方案并不是很好。 我就说一说在这个案例中用强制索引在公司团队开发中未来可能会遇到的问题： 系统有很多时候是根据系统信息来决定用哪个索引，一般系统是以最优化方式。现在强
使用索引对MySQL千万级数据查询优化
Return_head的博客
05-30 1818
索引的定义 在关系数据库中，索引是一种单独的、物理的对数据库表中一列或多列的值进行排序的一种存储结构，它是某个表中一列或若干列值的集合和相应的指向表中物理标识这些值的数据页的逻辑指针清单。索引的作用相当于图书的目录，可以根据目录中的页码快速找到所需的内容。 索引的分类 MySQL的索引可分为两类：单列索引和组合索引 单列索引：指一个索引只包含一列。包含主键索引(primary key...
MySql索引查询优化 千万级数据普通查询和建立索引后数据查询耗时对比
Benjamin CSDN博客
05-10 5765
前言 索引：拿汉语字典的目录页（索引）打比方，我们可以按拼音、笔画、偏旁部首等排序的目录（索引）快速查找到需要的字。 索引分单列索引和组合索引。 单列索引，即一个索引只包含单个列，一个表可以有多个单列索引，但这不是组合索引。 组合索引，即一个索引包含多个列。 更多简介请移至：https://www.runoob.com/mysql/mysql-index.html 造数据 MySql表格中拥有1424w+数据 如何造数...
MySQL 千万 级数据量根据（索引）优化 查询 速度
10-22 5299
一、索引的作用 索引通俗来讲就相当于书的目录，当我们根据条件查询的时候，没有索引，便需要全表扫描，数据量少还可以，一旦数据量超过百万甚至千万，一条查询sql执行往往需要几十秒甚至更多，5秒以上就已经让人难以忍受了。 提升查询速度的方向一是提升硬件(内存、cpu、硬盘)，二是在软件上优化（加索引、优化sql；优化sql不在本文阐述范围之内）。 能在软件上解决的，就不在硬件上解决，毕竟硬件提升代价昂贵，性价比太低。代价小且行之有效的解决方法就是合理的加索引。 索引使用得当，能使查询速度提升上万倍，效果惊
mysql数据库千万级别数据查询优化
qq_41853523的博客
06-10 1562
最近因工作需要，客户需要把一些表中数据全部导出，由于表中数据量巨大，开始的时候，查询特别慢，我想应该是进行全表扫描了，于是对SQL进行了调优，废话不多说，先来看看我是如何调优的吧， 1：首先我们需要选择正确的存储引擎，先来简单介绍下存储引擎吧。 MySQL有两个存储引擎MySAM和InnoDB, 每个引擎都有利有弊。MyISAM 适合于一些需要大量查询的应用，但其对于有大量写操作并不是很好。甚至你只是需要update一个字段，整个表都会被锁起来，而别的进程，就算是读进程都无法操作直到读操作完...
线上环境打印process.env.nodeenv是开发环境配置
最新发布
03-13
在线上环境中，打印`process.env.NODE_ENV`可以用来获取当前的环境配置。`process.env.NODE_ENV`是一个环境变量，用于指示当前应用程序运行的环境。通常，它可以设置为"development"（开发环境）或"production"（生产环境）。 在开发环境中，`process.env.NODE_ENV`通常被设置为"development"，以便开发人员可以获得更多的调试信息和辅助工具。而在生产环境中，`process.env.NODE_ENV`通常被设置为"production"，以便优化性能和减少冗余信息。 请注意，具体的配置方式可能因应用程序的不同而有所差异。以上是一般情况下的配置方式。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

晴天M雨天

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值