简单离线数仓搭建-Hive3.1.3安装

Hive 3.1.3 安装文档

1. 下载并解压 Hive

cd /opt/
tar -zxf apache-hive-3.1.3-bin.tar.gz
mv /opt/apache-hive-3.1.3-bin /opt/soft/hive313

2. 配置 Hive

cd /opt/soft/hive313/conf/
touch /opt/soft/hive313/conf/hive-site.xml
cat << 'EOF' > /opt/soft/hive313/conf/hive-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <property>
        <name>hive.metastore.warehouse.dir</name>
        <value>/hive313/warehouse</value>
    </property>
    <property>
        <name>hive.metastore.local</name>
        <value>true</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://127.0.0.1:3306/hive?createDatabaseIfNotExist=true</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>ok</value>
    </property>
    <property>
        <name>hive.server2.authentication</name>
        <value>NONE</value>
    </property>
    <property>
        <name>hive.server2.thrift.client.user</name>
        <value>root</value>
    </property>
    <property>
        <name>hive.server2.thrift.client.password</name>
        <value>root</value>
    </property>
</configuration>
EOF

3. 设置环境变量

echo '#HIVE' >> /etc/profile
echo 'export HIVE_HOME=/opt/soft/hive313' >> /etc/profile
echo 'export PATH=$PATH:$HIVE_HOME/bin' >> /etc/profile
source /etc/profile

4. 配置 Hadoop ProxyUser

t1="<property>"
t2="    <name>hadoop.proxyuser.root.hosts</name>"
t3="    <value>*</value>"
t4="</property>"
t5="<property>"
t6="    <name>hadoop.proxyuser.root.groups</name>"
t7="    <value>*</value>"
t8="</property>"
t9="<property>"
t10="    <name>hadoop.proxyuser.root.users</name>"
t11="    <value>*</value>"
t12="</property>"
sed -i "/<\/configuration>/i\\$t1\n$t2\n$t3\n$t4\n$t5\n$t6\n$t7\n$t8\n$t9\n$t10\n$t11\n$t12" /opt/soft/hadoop313/etc/hadoop/core-site.xml

5. 配置 JDBC 驱动

将 mysql-connector-java-5.1.38.jar 文件拖拽至 /opt/soft/hive313/lib/ 目录下。
将guava-27.0-jre.jar也复制到该目录下，并将原有的guava注销

6. 初始化 Hive 元数据库（记得启动Hadoop相关组件）

schematool -dbType mysql -initSchema

成功后能在mysql在查看到对应的元数据。

7. 启动 Hive

服务回独占一个窗口，可以用nohup &使其后台运行

hive --service metastore &         ##元数据服务

hive --service hiveserver2 &        ##支持jdbc查询服务

jps -m			##查看服务是否启动

注意事项：

• 确保 MySQL 数据库已经安装和运行，并且有足够的权限用于 Hive 元数据库。
• 可根据需要调整配置文件中的路径和数据库连接信息。

这些步骤将帮助您在系统上安装和配置 Hive 3.1.3，并初始化其元数据库。