只查了十几条数据,用了16.497秒,效率还是很低。- 之后又查询了几次,即使查询数据量达到一百万条,总用时也是在15秒左右徘徊
多次实验的结果,可见Hive查询的时间是由MapReduce决定的,而不单单是由查询的数据量影响的。
数据量 | MapReduce耗时 | 总耗时 | 其他 |
---|---|---|---|
10条 | 5.85 sec | 13.756 sec | 7.906 sec |
10,000条 | 5.94 sec | 13.794 sec | 7.84 sec |
100,000条 | 5.89 sec | 13.73 sec | 7.84 sec |
1,000,000条 | 7.48 sec | 14.756 sec | 7.276 sec |
10,000,000条 | 18.71 sec | 25.886 sec | 7.176 sec |