大数据开发面试题1

列举几个hadoop生态圈组件或其他Apache的顶级项目，并做简要的描述

1、hive：

• hive是由Facebook开发的用于解决海量结构化数据的开源组件
• hive是基于hadoop的一个数据仓库工具，可以将hdfs中结构化的数据映射为一张表并提供了类SQL查询（将SQL语句转化为MapReduce程序执行）
• hive处理的数据存放在hdfs中，分析数据底层的实现是MapReduce，执行程序运行在yarn上。

2、HBase

• HBase是一款适合大数据分析的数据库（按列存储）
• HBase主要解决快速存储、分布式存储和大量数据分析

3、spark

• Spark是一种快速、通用、可扩展的大数据分析引擎。
• spark是基于内存计算的大数据并行计算框架，spark适用于各种原先需要多种不同分布式平台的场景，包括批处理、迭代 算法、交互式查询、流处理。通过在一个统一的框架下支持这些不同的计算，Spark使我们可以简单而帝豪的把各种处理流程 整合在一起。

简要描述数据库中的 null，说出null在hive底层如何存储，并解释selecta.* from t1 a left outer join t2 b on a.id=b.id where b.id =null;

null与 任何值运算的结果都是null