mac hive mysql 配置_MacOS 下hive的安装与配置

之前的文章中我们提到了Hive是Hadoop生态系统中的重要的成员之一，允许用户使用类似SQL的方式，很方便地进行离线数据的统计分析。本节我们就在Hadoop集群的基础上进行Hive的安装与配置。

环境和软件版本说明系统：MacOS

终端：iterms2 + zsh

Hadoop: hadoop-2.6.0-cdh5.7.0.tar.gz

下载地址:http://archive.cloudera.com/cdh5/cdh/5/

Hive：hive-1.1.0-cdh5.7.0.tar.gz，

下载地址：http://archive.cloudera.com/cdh5/cdh/5/

MySQL：5.7.26 dmg镜像，

下载地址：https://dev.mysql.com/downloads/mysql/5.7.html#downloads

MySQL安装与配置

mac下安装MySQL有多种方式，如使用homebrew安装，使用dmg镜像安装等。这里我们采用后一种方式。与安装JDK一样，双击下载好的安装包，按照提示一步一步进行即可。中间会弹出与下图类似的提示，需要记住这个临时密码，即红框里的一串字符，在后面登录修改密码的时候会用到。

正确安装好后，在系统设置的最下方会出现一个MySQL的服务(如果没有，将设置关闭之后重新打开试试。)，点击这个图标，就可以开启MySQL的服务。

服务开启后，我们就可以在终端里登录mysql，执行的命令为mysql -u root -p表示以root用户登录。回车后会提示输入密码，输入刚刚我们记录的临时密码，回车。正确的话，就能进入到MySQL 的命令模式下。

mysql> set password for root@localhost = password('123456'); #修改mysql密码为123456

#可以使用exit;退出后用新密码登录看是否修改成功。

show databases;#查看已经有的数据库，能正常显示说明已经安装成功。

#tips:注意这里的几行命令都是在MySQL shell中执行的，所有在mysql shell下执行的命令都以分号结尾

至此我们安装好了MySQL。为什么需要安装MySQL呢？原因是：默认情况下，Hive元数据保存在内嵌的Derby数据库中，只能允许一个会话连接，只适合简单的测试。实际生产环境中不使用，为了支持多用户会话，则需要一个独立的元数据库，使用MySQL作为元数据库，Hive内部对MySQL提供了很好的支持。

因此，MySQL的安装并不是必要的，但为了深入学习，我们还是选择安装。

Hive安装与配置

1.解压安装包

tar -zxvf hive-1.1.0-cdh5.7.0.tar.gz -C ~/hadoop/app #与之前安装HADOOP一样，我们同样解压hive到app目录下

2.设置HIVE_HOME环境变量

cd ~/hadoop/app#切换到app目录下

cd hive-1.1.0-cdh5.7.0 #切换到hive目录下

pwd#查看当前路径，就是我们后面需要用的HIVE_HOME

vi ~/.zshrc#编辑配置文件添加HIVE_HOME

source ~/.zshrc#重启使其生效

参考图中对环境变量的设置，添加HIVE_HOEM并重启使其生效。

3.修改hive的配置文件

我们需要修改在HIVE_HOME/conf下的两个文件，分别是hive-env.sh和hive-site.xml。前者需要复制hive-env.sh.template得到，后者则需要自己创建。

hive-env.sh只需要修改一处，即将HADOOP_HOME补充完整即可。

我们使用的这个版本没有hive-site.xml的模板，我从网上找了一个，然后将自己的配置添加进去，你可以复制下面的代码，修改为自己的配置。具体配置和注释如下：

javax.jdo.option.ConnectionURL

jdbc:mysql://localhost:3306/metastore?createDatabaseIfNotExist=true

javax.jdo.option.ConnectionDriverName

com.mysql.jdbc.Driver

javax.jdo.option.ConnectionUserName

root

javax.jdo.option.ConnectionPassword

123456

4.在HIVE_HOME/lib文件夹下添加mysql驱动。

下载的zip包里，有一个mysql-connector文件，如图中红框所示，需要将这个文件copy到HIVE_HOME/lib下。

5.创建mysql元数据库并进行初始化首先登录MySQL，创建一个名为metastore的数据库，此处的名字需要和刚刚hive-site.xml中数据库的名称一致。用来存放hive的元数据。可以看到，刚创建的时候，metastore是空的，通过执行show tables;可以验证。

之后我们在命令行里(不是mysql shell里)执行初始化命令：

schematool -initSchema -dbType mysql

#注意：如果前一步没有按照说明正确放置mysql-connector文件，这里是会报错的，初始化也会失败，相应的示意图如下。

初始化成功之后，我们再来看一下metastore数据库中的表，同样执行show tables;。如下面代码所示。

mysql> show tables;

+---------------------------+

| Tables_in_metastore |

+---------------------------+

| BUCKETING_COLS |

| CDS |

| COLUMNS_V2 |

| COMPACTION_QUEUE |

| COMPLETED_TXN_COMPONENTS |

| DATABASE_PARAMS |

| DBS |

| DB_PRIVS |

| DELEGATION_TOKENS |

| FUNCS |

| FUNC_RU |

| GLOBAL_PRIVS |

| HIVE_LOCKS |

| IDXS |

| INDEX_PARAMS |

| MASTER_KEYS |

| NEXT_COMPACTION_QUEUE_ID |

| NEXT_LOCK_ID |

| NEXT_TXN_ID |

| NOTIFICATION_LOG |

| NOTIFICATION_SEQUENCE |

| NUCLEUS_TABLES |

| PARTITIONS |

| PARTITION_EVENTS |

| PARTITION_KEYS |

| PARTITION_KEY_VALS |

| PARTITION_PARAMS |

| PART_COL_PRIVS |

| PART_COL_STATS |

| PART_PRIVS |

| ROLES |

| ROLE_MAP |

| SDS |

| SD_PARAMS |

| SEQUENCE_TABLE |

| SERDES |

| SERDE_PARAMS |

| SKEWED_COL_NAMES |

| SKEWED_COL_VALUE_LOC_MAP |

| SKEWED_STRING_LIST |

| SKEWED_STRING_LIST_VALUES |

| SKEWED_VALUES |

| SORT_COLS |

| TABLE_PARAMS |

| TAB_COL_STATS |

| TBLS |

| TBL_COL_PRIVS |

| TBL_PRIVS |

| TXNS |

| TXN_COMPONENTS |

| TYPES |

| TYPE_FIELDS |

| VERSION |

+---------------------------+

53 rows in set (0.00 sec)

可以看到初始化之后，metastore数据库里多了好多表，这些表都与Hive密切相关，我们后面会进行深入学习。

至此，hive的配置就基本结束了。hive的启动非常简单。在任意的路径下输入hive即可。但是在此之前必须先启动HADOOP(包括HDFS和YARN)。在确保NameNode，DataNode，SecondaryNameNode，ResourceManager，NodeManager等几个进程都有之后，再启动hive，即可进入hive的命令行。

hive的使用和MySQL语法很类似。如图，我们使用了几个简单的命令来测试，发现默认有一个default数据库，但是里面没有任何表。关于Hive具体的使用，例如如何创建表以及如何写入数据？hive和HDFS之间有什么联系，元数据库如何存储Hive的数据等。我们后续再来深入学习。

本文完。