Hive中的Map Join即map side join工作原理是在Map端把小表加载到内存中,然后读取大表,和内存中的小表完成连接操作。MapJoin使用了分布式缓存技术。
Map Join的优点:
1.不消耗集群的reduce资源。
2.减少了reduce操作,加快了程序执行。
3.降低网络负载。
Map Join的缺点:
1.占用内存(所以加载到内存中的表不能过大,因为每个计算节点都会加载一次)。
2.生成较多的小文件。
我们有如下两种方式来执行Map Join:
Hive中的Map Join即map side join工作原理是在Map端把小表加载到内存中,然后读取大表,和内存中的小表完成连接操作。MapJoin使用了分布式缓存技术。
Map Join的优点:
1.不消耗集群的reduce资源。
2.减少了reduce操作,加快了程序执行。
3.降低网络负载。
Map Join的缺点:
1.占用内存(所以加载到内存中的表不能过大,因为每个计算节点都会加载一次)。
2.生成较多的小文件。
我们有如下两种方式来执行Map Join: