Hive安装部署

Hive相当于Hadoop的客户端工具，安装时不一定非要放在集群的节点中，可以放在任意一个集群客户端节点上都可以

1.接着把下载好的hive安装包上传到bigdata04机器的/data/soft目录中，并且解压

[root@bigdata04 soft]# tar -zxvf apache-hive-3.1.2-bin.tar.gz

2:接着需要修改配置文件，进入hive的conf目录中，先对这两个模板文件重命名

[root@bigdata04 soft]# cd apache-hive-3.1.2-bin/conf/
[root@bigdata04 conf]# mv hive-env.sh.template hive-env.sh
[root@bigdata04 soft]# mv hive-default.xml.template hive.site.xml

3:然后再修改这两个文件的内容

注意：在hive-env.sh文件的末尾直接增加下面三行内容【根据实际的路径配置】

[root@bigdata04 conf]# vi hive-env.sh
.....
export JAVA_HOME=/data/soft/jdk1.8
export HIVE_HOME=/data/soft/apache-hive-3.1.2-bin
export HADOOP_HOME=/data/soft/hadoop-3.2.0

注意：在hive-site.xml文件中根据下面property中的name属性的值修改对应value的值，这些属性默认里面都是有的，所以都是修改对应的value的值即可

由于这里面需要指定Metastore的地址，Metastore我们使用Mysql，所以需要大家提前安装好Mysql，我这里使用的是Mysql8.0.16版本，Mysql安装包会提供给大家，建议大家直接在自己的windows机器中安装Mysql即可。

如果对MySQL8.x的安装部署不太熟悉的话，请参考下面的安装部署步骤，以及如何开启MySQL8的远程访问权限。


4:接下来需要把Mysql的java驱动包上传到hive的lib目录下
注意 mysql驱动包的版本，要和我们安装的版本保持一致：mysql-connector-java-8.0.16.jar

5:修改bigdata01中的core-site.xml，然后同步到集群中的另外两个节点上，如果不增加这个配置，使用beeline连接hive的时候会报错

重启Hadoop集群
6:最后建议修改一下bigdata04的hosts文件，否则这个节点上无法识别集群中节点的主机名，使用起来不方便，顺便也修改一下bigdata01、bigdata02、bigdata03上的hosts，让这几台机器互相认识一下

7:初始化Hive的Metastore

[root@bigdata04 apache-hive-3.1.2-bin]# bin/schematool -dbType mysql -initSchema

但是执行之后发现报错了，提示hive-site.xml文件中的第3215行内容有问题
其实这个是原始配置文件本身就有的问题，最直接的就是把这一行直接删掉，删除之后的效果如下：其实就是把hive.txn.xlock.iow对应的description标签内容删掉，这样就可以了
修改后再执行初始化命令，初始化Metastore，这个过程需要等一会

注意：需要提前在MySQL中创建hive数据库，否则在初始化的时候会提示找不到hive这个数据库。并且数据库的编码需要使用latin1，不能使用utf8！

注意：如果执行失败，大概率是无法连接MySQL造成的，如果确认已开启MySQL的远程访问权限，则最有可能的是没有关闭Windows的防火墙！
初始化成功以后，查看本地Mysql数据库，发现会自动创建一堆的表，看到这些就说明Metastore初始化成功了

这样Hive就安装好了，注意了，目前针对Hive不需要启动任何进程

扩展：MySQL8.x 安装部署

以下内容包含两块
• 在windows中安装部署MySQL8.x
• 开启MySQL的远程访问权限

1：将MySQL安装包解压到指定文件夹下，我在这里默认安装到了这个目录下

D:\mysql8\mysql-8.0.16-winx64

2：在windows里面配置环境变量(和配置JAVA_HOME的流程一样)
右键点击我的电脑->属性->高级系统设置–>环境变量
在系统变量中新增属性：MYSQL_HOME，值为：D:\mysql8\mysql-8.0.16-winx64
然后修改PATH变量，把%MYSQL_HOME%\bin添加到PATH变量中
注意：最好将此变量移动到最前面，这样可以保证在使用mysql命令的时候优先使用此路径下的mysql。

3：进入D:\mysql8\mysql-8.0.16-winx64目录，创建my.ini配置文件
my.ini文件内容如下：
4：通过cmd命令行，cd到mysql的bin目录中

C:\Users\lenovo>d:
D:\>cd D:\mysql8\mysql-8.0.16-winx64
D:\mysql8\mysql-8.0.16-winx64>cd bin
D:\mysql8\mysql-8.0.16-winx64\bin>

5:执行mysql的初始化命令

D:\mysql8\mysql-8.0.16-winx64\bin>mysqld --initialize --console

注意：执行mysql的初始化命令之后，在下面的第三行日志中会显示mysql的临时密码，后面登录的时候会使用到。

6:安装mysql服务，添加到开机启动项中

D:\mysql8\mysql-8.0.16-winx64\bin>mysqld install mysql8

注意：如果执行install之后，日志显示的不是successfully，而是Install/Remove of the Service Denied!，则需要以管理员身份打开cmd命令行，重新执行install命令即可

7:启动mysql
注意：第一次需要手工启动mysql，以后重启电脑之后mysql就可以自动启动了。

D:\mysql8\mysql-8.0.16-winx64\bin>net start mysql8

8:接下来就可以登录mysql了

注意：密码区分大小写，默认生成的临时密码比较复杂，建议直接复制，手动输入容易出错

9:修改mysql密码，建议将密码设置为admin
10:重新使用新密码登录mysql
11.开启mysql远程访问权限
默认情况下，此mysql数据库只能在本地访问，其它机器访问不了，所以需要开启远程访问权限。

在这里可看到root用户对应的host地址为localhost，所以此时想要使用root用户访问mysql，只能在本地访问。
想要开启远程访问，只需要修改user表中root用户对应的host字段的值即可，将host字段的值改为%，表示允许任意ip访问。
注意：flush privileges;这条命令一定要执行，它会刷新最新的权限信息。
此时再查询user表中的数据：

注意：flush privileges;这条命令一定要执行，它会刷新最新的权限信息。
此时再查询user表中的数据：
12：验证mysql远程访问权限是否成功开启
可以在windows本地直接验证mysql远程访问权限是否成功开启
首先查询当前windows机器的ip信息【使用VMnet8网卡中的ip信息即可】

通过内网192开头的ip进行访问mysql，如果能正常访问，就说明mysql的远程访问权限成功开启了，到时候我们在bigdata04机器上就可以访问这个数据库。