cloudera impala 交集、差集实际测试数据

最新推荐文章于 2021-05-09 08:26:09 发布

牛永刚

最新推荐文章于 2021-05-09 08:26:09 发布

阅读量1.7k

点赞数

分类专栏： Hadoop 文章标签： cloudera impala 交集差集测试数据

本文链接：https://blog.csdn.net/lightcloudDotcc/article/details/42173441

版权

这篇博客展示了在Cloudera Impala中使用内连接和左连接操作处理大规模数据（1.5亿到21.5亿条记录）时，计算交集和差集的实际性能。通过不同查询方式比较，得出最优的查询方法，以获取不重复的交集和差集记录数量。

摘要由CSDN通过智能技术生成

cloudera impala 交集、差集实际测试数据

[root@hadoop1 test-im]# impala-shell -i hadoop2 -f z_join_test_big_data.sql
Starting Impala Shell without Kerberos authentication
Connected to hadoop2:21000
Server version: impalad version 1.2.4 RELEASE (build ac29ae09d66c1244fe2ceb293083723226e66c1a)

Query: use db01

Query: show tables
+----------------------------------+
| name |
+----------------------------------+
| ontime |
| ontime_parquet |
| ontime_partitioned_parquet | ( 此表有 1.5 亿条数据 )
| ontime_partitioned_parquet_21_yi | ( 此表有 21.5 亿条数据 )
+----------------------------------+
Returned 4 row(s) in 0.01s

#有重复的数据
Query: select count(origincityname) from ontime_partitioned_parquet where year=2001 and month=1 and airlineid=20355 and dayofmonth=1
+-----------------------+
| count(origincityname) |
+-----------------------+
| 1980 |
+-----------------------+
Returned 1 row(s) in 0.41s

#有重复的数据