![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
文章平均质量分 88
sakulamartain
这个作者很懒,什么都没留下…
展开
-
Hive MapJoin原理
本文主要想讨论在Hive1.2.2环境中,以下三种情况下,2表做left join的执行原理: 1. 2张相同大小的表做left join; 2. 大表做主表,与临时表做left join; 在进行试验之前,先说下官方对于 Map Join的原理说明: Hive MapJoin原理说明: MapJoin 就是在Map阶段将小表读入内存并生成HashTableFiles,然后顺序扫描大表完成Join。 上图是Hive MapJoin的原理图,出自Facebook工程师Liyin T...原创 2021-10-29 14:04:06 · 1379 阅读 · 0 评论 -
Centos6 下 spark1.6.3_hadoop2.6 分布式集群环境搭建
Scala安装 下载,解压 下载Scala-2.11.8.tgz, 修改环境变量文件/etc/profile 添加以下内容 export SCALA_HOME=/root/workspace/software/scala-2.10.4 export PATH=$PATH:$SCALA_HOME/bin1 source使之生效 source /etc/profile 验证Scala安装 [root@racnode2 bin]# scala Welcome to Scala ...原创 2021-10-29 14:02:23 · 824 阅读 · 0 评论