浅析Hive的group by和count（distinct）

<div id="article_content" class="article_content clearfix" data-track-click="{&quot;mod&quot;:&quot;popu_307&quot;,&quot;con&quot;:&quot;,https://blog.csdn.net/dm_source/article/details/80246586&quot;}">
                        <link rel="stylesheet" href="https://csdnimg.cn/release/phoenix/template/css/ck_htmledit_views-cd6c485e8b.css">
                                                            <link rel="stylesheet" href="https://csdnimg.cn/release/phoenix/template/css/ck_htmledit_views-cd6c485e8b.css">
                    <div class="htmledit_views" id="content_views">
                        <p></p><p>&nbsp;&nbsp;&nbsp;&nbsp;首先，Hive的group by和count（distinct）都是去除重复的数据，某种程度上来说，两者产生的结果是一样的。</p><p>&nbsp;&nbsp;&nbsp;&nbsp;实例代码：</p><p></p><div class="table-box"><table border="1" width="200" cellspacing="1" cellpadding="1"><tbody><tr><td>select a,count(distinct b) from t group by a</td></tr><tr><td>select tt.a,count(tt.b) from (select a,b from t group by a,b)tt group by tt.a</td></tr></tbody></table></div><p>&nbsp; &nbsp; 上面两句代码产生的结果是一样的，但是两者从效率和空间复杂度上来讲，是有很大的差别的。</p><p>&nbsp; &nbsp; distinct会将b列所有的数据保存到内存中，形成一个类似hash的结构，速度是十分的块；但是在大数据背景下，因为b列所有的值都会形成以key值，极有可能发生OOM。<br></p><p>&nbsp; &nbsp; group by会先把b列的值进行排序，如果以快速派序来说的话，他的空间复杂度就是O(1)，时间复杂度是O（nlogn），这样在大数据的环境下，只有排序阶段会比较慢，时间复杂度是O(nlogn)。<br></p><p>&nbsp; &nbsp; 两者比较来说，distinct 耗费内存，但是效率极高，但是数据较大时，可能会产生OOM；group by如果在时间复杂度允许的情况下，可以展现出突出的空间复杂度的优势。<br></p><p>&nbsp; &nbsp; 最后，对于Hive来说，含有distinct的HQL语句，如果遇到瓶颈，想要调优，第一时间都是想到用group by来替换distinct来实现对数据的去重。<br></p><br>                    </div>
                                    </div>

<div class="htmledit_views" id="content_views">
                        <p></p><p>&nbsp;&nbsp;&nbsp;&nbsp;首先，Hive的group by和count（distinct）都是去除重复的数据，某种程度上来说，两者产生的结果是一样的。</p><p>&nbsp;&nbsp;&nbsp;&nbsp;实例代码：</p><p></p><div class="table-box"><table border="1" width="200" cellspacing="1" cellpadding="1"><tbody><tr><td>select a,count(distinct b) from t group by a</td></tr><tr><td>select tt.a,count(tt.b) from (select a,b from t group by a,b)tt group by tt.a</td></tr></tbody></table></div><p>&nbsp; &nbsp; 上面两句代码产生的结果是一样的，但是两者从效率和空间复杂度上来讲，是有很大的差别的。</p><p>&nbsp; &nbsp; distinct会将b列所有的数据保存到内存中，形成一个类似hash的结构，速度是十分的块；但是在大数据背景下，因为b列所有的值都会形成以key值，极有可能发生OOM。<br></p><p>&nbsp; &nbsp; group by会先把b列的值进行排序，如果以快速派序来说的话，他的空间复杂度就是O(1)，时间复杂度是O（nlogn），这样在大数据的环境下，只有排序阶段会比较慢，时间复杂度是O(nlogn)。<br></p><p>&nbsp; &nbsp; 两者比较来说，distinct 耗费内存，但是效率极高，但是数据较大时，可能会产生OOM；group by如果在时间复杂度允许的情况下，可以展现出突出的空间复杂度的优势。<br></p><p>&nbsp; &nbsp; 最后，对于Hive来说，含有distinct的HQL语句，如果遇到瓶颈，想要调优，第一时间都是想到用group by来替换distinct来实现对数据的去重。<br></p><br>                    </div><div class="htmledit_views" id="content_views">
                        <p></p><p>&nbsp;&nbsp;&nbsp;&nbsp;首先，Hive的group by和count（distinct）都是去除重复的数据，某种程度上来说，两者产生的结果是一样的。</p><p>&nbsp;&nbsp;&nbsp;&nbsp;实例代码：</p><p></p><div class="table-box"><table border="1" width="200" cellspacing="1" cellpadding="1"><tbody><tr><td>select a,count(distinct b) from t group by a</td></tr><tr><td>select tt.a,count(tt.b) from (select a,b from t group by a,b)tt group by tt.a</td></tr></tbody></table></div><p>&nbsp; &nbsp; 上面两句代码产生的结果是一样的，但是两者从效率和空间复杂度上来讲，是有很大的差别的。</p><p>&nbsp; &nbsp; distinct会将b列所有的数据保存到内存中，形成一个类似hash的结构，速度是十分的块；但是在大数据背景下，因为b列所有的值都会形成以key值，极有可能发生OOM。<br></p><p>&nbsp; &nbsp; group by会先把b列的值进行排序，如果以快速派序来说的话，他的空间复杂度就是O(1)，时间复杂度是O（nlogn），这样在大数据的环境下，只有排序阶段会比较慢，时间复杂度是O(nlogn)。<br></p><p>&nbsp; &nbsp; 两者比较来说，distinct 耗费内存，但是效率极高，但是数据较大时，可能会产生OOM；group by如果在时间复杂度允许的情况下，可以展现出突出的空间复杂度的优势。<br></p><p>&nbsp; &nbsp; 最后，对于Hive来说，含有distinct的HQL语句，如果遇到瓶颈，想要调优，第一时间都是想到用group by来替换distinct来实现对数据的去重。<br></p><br>                    </div>