Hive与Hadoop实现整合实战

1、Hive架构与应用场景

Hive架构：

1. MetaStore

MetaStore表示元数据存储，所谓的元数据就是hive创建的数据库、表等信息，这些元数据可以存储在关系型数据库Derby、MySQL中。

可以把MetaStore理解为后端数据库的代理层，hive客户端连接到MetaStore后，MetaStore再去连接后端MySQL数据库来存取元数据，这样，就可以有多个hive客户端同时连接到MetaStore，而且这些客户端不需要知道MySQL数据库的用户名和密码，它们只需要连接MetaStore服务即可。

2. HiveServer/ HiveServer2

顾名思义，这是hive上启动的一个服务，早期的hive版本中，启动的服务是HiveServer，此服务启动后，hive客户端就可以通过IP加端口的方式对hive进行访问，此服务主要用于远程客户端使用各种编程语言向Hive提交请求并查询结果的情况。远程客户端可以通过jdbc、odbc等开发接口访问HiveServer服务。

由此可知，HiveServer是一种可选服务，当有程序需要连接hive的时候，才需要它，这也是生产环境使用最多的一种方式。但HiveServer无法处理来自多个客户端的并发请求，因此，从Hive 0.11.0版本开始，HiveServer2替代了HiveServer。

3. Hive CLI