[email protected]

Driver 包含了整个应用程序的逻辑，包括数据转换、操作流程、计算逻辑等。它定义了应用程序的具体行为。

Spark SQL概念它是spark中用于处理结构化数据的一个模块Spark SQL历史Hive是目前大数据领域，事实上的数据仓库标准。Shark：shark底层使用spark的基于内存的计算模型，从而让性能比Hive提升了数倍到上百倍。底层很多东西还是依赖于Hive，修改了内存管理、物理计划、执行三个模块2014年6月1日的时候，Spark宣布了不再开发Shark，全面转向Spark SQL的开发Spark SQL优势。

HBase是一个分布式的、面向列的开源数据库HBase是Google BigTable的开源实现HBase不同于一般的关系数据库, 适合非结构化数据存储结构化数据适合用二维表来展示的数据非结构化数据非结构化数据是数据结构不规则或不完整没有预定义的数据模型不方便用数据库二维逻辑表来表现办公文档、文本、图片、XML, HTML、各类报表、图像和音频/视频信息等指数据库事务正确执行的四个基本要素的缩写原子性 A。

UDF当 Hive 提供的内置函数无法满足你的业务处理需要时，此时就可以考虑使用用户自定义函数（UDF：user-defined function）。TRANSFORM,andUDFandUDAFUDF：就是做一个mapper，对每一条输入数据，映射为一条输出数据。UDAF:就是一个reducer，把一组输入数据映射为一条(或多条)输出数据。一个脚本至于是做mapper还是做reducer，又或者是做udf还是做udaf，取决于我们把它放在什么样的hive操作符中。

学习目标- 了解什么是Hive- 了解为什么使用HiveHive 由 Facebook 实现并开源，是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据映射为一张数据库表 ，并提供 HQL(Hive SQL)查询功能，底层数据是存储在 HDFS 上。Hive 本质: 将 SQL 语句转换为 MapReduce 任务运行，使不熟悉 MapReduce 的用户很方便地利用 HQL 处理和计算 HDFS 上的结构化的数据,是一款基于 HDFS 的 MapReduce计算框架。

总之，Hive和HBase是在大数据领域中用于不同目的的两个重要工具。Hive主要用于数据分析和查询，而HBase用于实时读写操作的分布式数据库。