Hive 元数据定义与操作存储

1.元数据定义

      元数据是指描述数据的数据，也可以称为“数据的数据”。它是一种关于数据的信息，包括数据的属性、结构、语义和约束等方面。元数据可以帮助我们更好地理解数据的含义和使用方式，也可以为数据的管理、维护和共享提供支持。

2.操作存储

      操作存储通常包括三个方面：存储、访问和管理。在存储方面，操作存储需要选择合适的存储介质，如硬盘、内存或云存储等，来存储数据。在访问方面，操作存储需要提供快速、可靠的数据访问服务，使用户能够方便地获取所需的数据。在管理方面，操作存储需要实现对数据的管理和维护，包括备份、恢复、迁移、清理等操作，以保证数据的安全性和完整性。  

    元数据的存储主要有两种方式：第一种是使用hive自带的derby数据库进行元数据的存储；第二种是使用mysql数据库来进行hive元数据的存储;

2.1 两种方式存储区别

(1)内置derby存储

缺点 ：不同路径启动 hive，每一个 hive 拥有一套自己的元数据，无法共享
理解 ：在哪个目录下启动,就会在对应的目录下生成 derby.log 和 metastore.db,只有在此目录下再次启动才可以继续使用上次的元数据库。
这个是默认的，配置简单，但是一次只能一个客户端连接，适用于用来实验，不适用于生产环境。

(2)mysql存储

a、本地模式（Local）:本地安装mysql 替代derby存储元数据

    不再使用内嵌的Derby作为元数据的存储介质，而是使用其他数据库比如MySQL来存储元数据。hive服务和metastore服务运行在同一个进程中，mysql是单独的进程，可以同一台机器，也可以在远程机器上。
     这种方式是一个多用户的模式，运行多个用户client连接到一个数据库中。这种方式一般作为公司内部同时使用Hive。每一个用户必须要有对MySQL的访问权利，即每一个客户端使用者需要知道MySQL的用户名和密码才行。

b、远程模式（Remote）: 远程安装mysql 替代derby存储元数据

    Hive服务和metastore在不同的进程内，可能是不同的机器，该模式需要将hive.metastore.local设置为false，将hive.metastore.uris设置为metastore服务器URL；

    远程元存储需要单独起metastore服务，然后每个客户端都在配置文件里配置连接到该metastore服务。将metadata作为一个单独的服务进行启动。各种客户端通过beeline来连接，连接之前无需知道数据库的密码；
     仅连接远程的mysql并不能称之为“远程模式”，是否远程指的是metastore和hive服务是否在同一进程内；