大数据技术之Hive

一、Hadoops大数据生态

1、Mapreduce

MapReduce是一种编程模型，用于支持能够并行处理的大型数据集，且其封装了并行计算、容错、数据分布、负载均衡等细节问题。

MapReduce 是 Hadoop 生态系统和 Spark 中的一个重要组件，其原理是分治算法（Divide-and-Conquer）：通过把工作拆分成较小的数据集，完成一些独立任务，来支持大量数据的并行处理。

• MapReduce 从用户那里获取整个数据集，把它分割为更小的任务（MAP），然后把它们分配到各个工作节点。
• 一旦所有工作节点成功地完成了它们各自的独立任务，就会聚合（REDUCE）各独立任务的结果，然后返回整个数据集的结果。

通常，Map 和 Reduce 函数是用户定义的函数，它们解决了以往需要用代码解决的业务用例。

2、HDFS

HDFS（Hadoop File System）是 Hadoop 的分布式文件存储系统。

当数据量越来越多，在一个操作系统管辖的范围