一、Hive架构
Hive 架构图
其中:
client连接Hive的三种方式:
CLI:Hive自带的shell;
JDBC/ODBC:比如Beeline;
Web UI:Hive的Web界面。
metastore:metadata可以存储在三种metastore中,包括:内嵌式元存储(即Derby)、本地元存储(最常见的MYSQL)、远程元存储(最常见的MYSQ)。
数据存储:业务数据存储在HDFS中(外部表)或者Hive中(Hive内部表可以配置hive.metastore.warehouse.dir);
计算引擎:MapReduce;
注:图中的HDFS是1.X版本的。
二、安装并配置MYSQL作为metastore
2.1 安装Hive
简单来说官网下载hive安装包,配置环境变量即可。
2.2 增加配置项到hdfs-site.xml等配置文件中
必须在hdfs-site.xml中添加如下配置,否则hadoop会自动在/Users/ycaha/tmp目录下创建name等目录,这样的结果就是机器重启后自动删除,从而导致重启机器后namenode因为找不到NameNode路径而无法启动。
dfs.namenode.name.dir
/Users/ycaha/software-package-install/hadoop_install/nam