u013732444的博客

1、什么是Hadoop？ Hadoop是一个分布式系统。主要包含两个核心组件HDFS和MR。 HDFS： 分布式存储系统，解决海量数据的存储问题。 MR：分布式计算框架，解决海量数据的处理问题。 在基础的HDFS和MR基础上，Hadoop生态圈又加入了其它的组件：     Habse 非关系型的分布式数据库，     Hive基于HDFS的数据仓库，     Pig  一个基

1、在Map阶段连接    适用情况，两个表连接，一个表非常大，一个表非常小，小的表可以放进内存中。使用分布式缓存DistributedCache，将小表缓存到每个Map节点上，连接时，扫描Map中的大表分块，判断是否存在和小表相同的键，如果存在，则进行连接。 2、Reduce阶段连接   Map阶段，给每个键值对标注来源，例如来源于a表，标记后的数据为；来源于b表,表记为   R