基于阿里云服务器搭建完全分布式Hadoop集群+Hive仓库+Spark集群(三)

最新推荐文章于 2021-12-21 23:09:53 发布

_Memories_

最新推荐文章于 2021-12-21 23:09:53 发布

阅读量688

点赞数 1

本文链接：https://blog.csdn.net/TYUT__pengkai/article/details/113060728

版权

大数据专栏收录该内容

3 篇文章 2 订阅

订阅专栏

写在前面的话

本文为搭建完全分布式的大数据集群第三弹，在第一篇的基础上，讲解如何搭建Hive仓库。

欢迎扫码关注我的公众号，与我一同学习进步！主要致力于学习

使用深度学习解决计算机视觉相关问题
Python为主的互联网应用服务
基于MIPS指令集的CPU微体系结构设计

与Hadoop集群以及Spark集群不同的是，数据仓库Hive并不需要在每一台主机上都进行搭建，只需要在主节点的主机上进行搭建即可。因此，本文的以下操作均针对主服务器。

安装MySQL

使用命令sudo apt-get install mysql-server-5.7安装MySQL的客户端和服务端
使用命令sudo apt install libmysqlclient-dev安装MySQL需要的依赖
使用命令查看ps -e | grep mysql可以发现，MySQL的进程已经启动

安装Hive

为了确保版本之间的适配性，选择版本为2.3.7的Hive数据仓库进行安装；

为了确保目录的一致性，仍然选择安装在/usr/local/目录下

使用命令cd /usr/local/直接切换到目标目录下
使用命令wget https://pengkai.online/hive-2.3.7-bin.tar.gz下载Hive-2.3.7
使用命令tar -zxvf hive-2.3.7-bin.tar.gz解压Hive的压缩包
配置环境变量

使用命令vim /etc/profile打开配置文件，配置Hive的环境变量，将以下内容添加到文件末尾，保存并退出。
```
# hive
export HIVE_HOME=/usr/local/hive-2.3.7
export CLASSPATH=.:${HIVE_HOME}/lib:$CLASSPATH
export PATH=${HIVE_HOME}/bin:${HIVE_HOME}/conf:$PATH
```
**注：**如果你的目录不是/usr/local，一定要更改为自己的目录。
使用命令source /etc/profile激活配置的环境变量
使用命令hive --version查看Hive的版本，出现如下图所示的结果即表示安装成功

配置Hive

使用命令cd /usr/local/hive-2.7.3/conf切换到配置文件的目录下

配置hive-site.xml文件

使用命令vim ./hive-site.sml打开配置文件，并进行如下的配置

将下面的内容粘贴到configuration标签之间

	<!-- 设置JDBC与MySQL之间的连接 -->
	<property>
    	<name>javax.jdo.option.ConnectionURL</name>
    	<value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true&amp;characterEncoding=latin1&amp;useSSL=false</value>
    	<description>JDBC connect string for a JDBC metastore</description>
  	</property>
  	
  	<!-- 设置驱动 -->
  	<property>
    	<name>javax.jdo.option.ConnectionDriverName</name>
    	<value>com.mysql.jdbc.Driver</value>
    	<description>Driver class name for a JDBC metastore</description>
  	</property>
  	
  	<!-- 设置MySQL连接的用户名，可以根据自己的需要进行更改 -->
  	<property>
    	<name>javax.jdo.option.ConnectionUserName</name>
    	<value>hive</value>
    	<description>username to use against metastore database</description>
  	</property>
  	
  	<!-- 设置MySQL连接的密码，可以根据自己的需要进行更改 -->
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>hive</value>
        <description>password to use against metastore database</description>
    </property>

配置MySQL、Java与Hive三者进行通信的时候需要的jar包

使用命令cd /usr/local/hive-2.3.7/lib切换到Hive中存放jar包的位置

使用命令wget http://downloads.mysql.com/archives/mysql-connector-java-5.0/mysql-connector-java-5.0.8.tar.gz下载需要的jar包

使用命令tar -zxvf mysql-connector-java-5.0.8.tar.gz解压需要的jar包
初始化元数据库

以上配置均进行完成后，使用命令schematool -dbType mysql -initSchema初始化元数据库