利用临时表优化SQL

开发说他们有个SQL特别慢,让我帮忙看看

select id_ from t_channel where id_  not in (select distinct cdbh from sjkk_gcjl where jgsj>'2015-01-02 09:00:00' and jgsj<'2015-01-02 10:00:00' );
......
30分钟以上
+----+--------------------+-----------+-------+---------------+----------+---------+------+--------+------------------------------+
| id | select_type        | table     | type  | possible_keys | key      | key_len | ref  | rows   | Extra                        |
+----+--------------------+-----------+-------+---------------+----------+---------+------+--------+------------------------------+
|  1 | PRIMARY            | t_channel | index | NULL          | ID_      | 74      | NULL |  10476 | Using where; Using index     |
|  2 | DEPENDENT SUBQUERY | sjkk_gcjl | range | idx_jgsj      | idx_jgsj | 8       | NULL | 201263 | Using where; Using temporary |
+----+--------------------+-----------+-------+---------------+----------+---------+------+--------+------------------------------+

我看了下这个SQL,感觉如果查询In而不是not in,并改写下sql应该会快。和开发交流了下,可以换成in,他们处理逻辑上可以改下。

select id_ from t_channel where id_  in (select distinct cdbh from sjkk_gcjl where jgsj>'2015-01-02 09:00:00' and jgsj<'2015-01-02 10:00:00' );
......
1223 rows in set (29 min 29.29 sec)
+----+--------------------+-----------+-------+---------------+----------+---------+------+--------+------------------------------+
| id | select_type        | table     | type  | possible_keys | key      | key_len | ref  | rows   | Extra                        |
+----+--------------------+-----------+-------+---------------+----------+---------+------+--------+------------------------------+
|  1 | PRIMARY            | t_channel | index | NULL          | ID_      | 74      | NULL |  10476 | Using where; Using index     |
|  2 | DEPENDENT SUBQUERY | sjkk_gcjl | range | idx_jgsj      | idx_jgsj | 8       | NULL | 201263 | Using where; Using temporary |
+----+--------------------+-----------+-------+---------------+----------+---------+------+--------+------------------------------+

  改写上面SQL,速度快了很多。 

select id_ from t_channel t1,(select distinct cdbh from sjkk_gcjl where jgsj>'2015-01-02 09:00:00' and jgsj<'2015-01-02 10:00:00' ) t2 where t1.id_= t2.cdbh;
.....
1223 rows in set (0.82 sec)
+----+-------------+------------+--------+---------------+----------+---------+---------+--------+------------------------------+
| id | select_type | table      | type   | possible_keys | key      | key_len | ref     | rows   | Extra                        |
+----+-------------+------------+--------+---------------+----------+---------+---------+--------+------------------------------+
|  1 | PRIMARY     | <derived2> | ALL    | NULL          | NULL     | NULL    | NULL    |   1700 |                              |
|  1 | PRIMARY     | t1         | eq_ref | PRIMARY,ID_   | PRIMARY  | 74      | t2.cdbh |      1 | Using where; Using index     |
|  2 | DERIVED     | sjkk_gcjl  | range  | idx_jgsj      | idx_jgsj | 8       | NULL    | 201263 | Using where; Using temporary |
+----+-------------+------------+--------+---------------+----------+---------+---------+--------+------------------------------+

后来他们说他们其实想更具查询出来的结果去刷新另一个表数据状态。然后更具他们的目的用临时表实现。

mysql> drop table if exists tmp_channel;
Query OK, 0 rows affected (0.00 sec)

mysql> create temporary table tmp_channel  engine=memory (select distinct cdbh from sjkk_gcjl where jgsj>'2015-01-02 09:00:00' and jgsj<'2015-01-02 10:00:00' );
Query OK, 1700 rows affected (2.22 sec)
Records: 1700  Duplicates: 0  Warnings: 0

mysql> update t_channel set channelStatus = 1;
Query OK, 9075 rows affected (0.09 sec)
Rows matched: 10298  Changed: 9075  Warnings: 0

mysql> update t_channel set channelStatus = 0 where  id_   not in(select cdbh from t);
Query OK, 9075 rows affected (1.41 sec)
Rows matched: 9075  Changed: 9075  Warnings: 0

mysql> drop table if exists tmp_channel;
Query OK, 0 rows affected (0.00 sec)

这样整个过程也就3s+


  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: 利用临时可以优化Spark SQL的执行效率。临时是一种在Spark SQL中定义的,它可以在查询中使用,但不会被永久保存在存储系统中。通过将数据加载到临时中,可以避免重复读取数据,从而提高查询效率。 具体来说,可以通过以下步骤利用临时优化Spark SQL: 1. 将数据加载到DataFrame中。 2. 将DataFrame注册为临时。 3. 在查询中使用临时。 4. 执行查询并获取结果。 通过这种方式,可以避免在每次查询时都重新读取数据,从而提高查询效率。同时,临时也可以在多个查询中共享,从而进一步提高效率。 ### 回答2: 大多数情况下,使用Spark SQL查询大型数据集时,我们需要使用分布式计算来完成任务。在这种情况下,Spark SQL将数据集分成多个分区并在集群上执行查询,并将结果合并为最终结果。但是,如果您的查询中包含复杂的子查询或多个自连接,则可能会导致较慢的查询性能。为了优化这种情况下的查询性能,我们可以使用临时。 一个临时是建立在内存或者磁盘空间中,其作用是存储临时数据,在数据处理或分析期间帮助节省时间和资源。它可以通过使用Spark SQL或DataFrame创建。在我们使用临时优化Spark SQL案例时,大致可以分为以下三个步骤: 1. 创建临时:在查询之前,我们需要先将数据加载到临时中。我们可以使用Spark SQL中的createTempView()方法创建一个临时,并将其命名。 2. 编写查询语句:在这一步中,我们写一个基于临时SQL查询,并将其用于Spark SQL执行。由于临时存储在磁盘或者内存中,使用临时可以避免执行昂贵的子查询或者自连接。查询处理速度得到提升,从而优化了查询性能。 3. 删除临时:在查询完成后,我们应该将其删除,以释放内存或磁盘空间,以便后续查询可以更快地执行。使用dropTempView()方法可以删除临时。 总之,使用临时可以帮助您优化Spark SQL查询性能。此方法在查询中使用子查询或者自连接时特别有效,因为它可以极大地减少查询的执行时间。但是,对于较小的数据集,临时可能会影响查询性能,因为在创建和删除临时时会对性能造成一定的开销。因此,在为Spark SQL编写查询时,我们需要根据数据集的大小和查询条件来决定是否使用临时。 ### 回答3: Spark SQL是Spark的一个重要组件,它提供了一个基于结构化数据的查询、分析和处理接口。在Spark SQL中,临时是一个非常重要的概念,它可以帮助我们在处理数据时提高效率,减少计算量,并且可以简化代码。 临时是指在Spark SQL中创建的一种对数据进行处理的不同方式。使用临时可以在Spark SQL中执行SQL查询语句,并在内存中缓存查询结果以提高查询效率。下面是一些利用临时优化Spark SQL案例的建议。 首先,我们可以使用临时优化大规模数据处理。例如,对于一个包含数百万行数据的,我们可以先将其存储在一个临时中,再基于该临时执行多个查询。这样可以避免重复读取数据,从而提高查询效率。 其次,我们可以使用临时来减少join操作中的计算量。在Spark SQL中,join操作是一个非常耗费资源的操作,特别是对于大型数据集。为了减少计算量,我们可以首先将两个存储在临时中,然后再执行join操作。这样可以减少数据集操作的重复计算。 另外,我们也可以使用临时优化查询性能。例如,对于一些需要执行多个聚合操作的查询,我们可以将数据存储在临时中,并将其分成多个临时来执行每个聚合运算。这样可以避免多次遍历源,提高查询性能。 除以上几点之外,利用临时的优点还有很多,比如避免数据重复读取、减少计算量、提高查询速度等等。总之,在Spark SQL中,临时是一个非常好的工具,可以帮助我们简化代码并提高查询性能。可以根据具体情况灵活应用,以实现Spark SQL的最佳性能。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值