hive安装配置

小钻风巡山

已于 2024-07-25 17:39:08 修改

阅读量329

点赞数

分类专栏： hive 运维文章标签： hive hadoop 大数据

于 2021-04-12 10:51:13 首次发布

本文链接：https://blog.csdn.net/weixin_42660202/article/details/115615285

版权

5. 处理hive中日日志jar与hadoop日志jar冲突

6. 初始化hive元数据(只能初始化一次)

7. 使用元数据的方式访问hive(访问方式7和8选一个)

8.2.1 通过beeline使用hiveserver2服务

8.2.2 使用beeline携带参数连接

8.2.3 使用第三方工具连接hive 例如 DBeaver

9. 不进入hive控制台执行sql语句(可以设置调度定时任务)

10. 设置用户名密码

三. Hive注释乱码修改

四. 重新编译Hive

一.版本信息

jdk-1.8

hadoop-3.1.3

mysql-5.7

hive-3.1.2

信息	内容
主机版本	centos7
机器数量	3台
安装包解压路径	/home/tools/hadoop/

主机ip地址	对应主机host
192.168.57.188	node1
192.168.57.189	node2
192.168.57.190	node3

二.配制

hive依赖hadoop,安装hive之前需要先安装hadoop,和mysql

1. 用户组配置

配置文件<hadoop_home>/etc/hadoop/core-site.xml 添加配置项(已经配置过的内容不要重复配置)

<configuration>
    <!--用户权限配置-->
    <property><!--设置该myuser用户允许通过代理访问的主机节点-->
        <name>hadoop.proxyuser.myuser.hosts</name>
        <value>*</value>
    </property>
    <property><!--设置该myuser用户允许通过代理用户所属组-->
        <name>hadoop.proxyuser.myuser.groups</name>
        <value>*</value>
    </property>
    <property><!--配置myuser允许通过代理的用户 hive-->
        <name>hadoop.proxyuser.myuser.users</name>
        <value>*</value>
    </property>
</configuration>

2. 配置hive元数据 (无密码)

<<Hive_home>>/conf/hive-site.xml

<configuration>
    <!--工作目录配置-->
    <property><!--hive在HDFS上的工作目录-->
        <name>hive.metastore.warehouse.dir</name>
        <value>/hive/warehouse</value>
    </property>
    
    <!--元数据配置-->
    <property><!--元数据保存地址-->
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://node1:3306/hivedb?createDatabaseIfNotExist=true&amp;useSSL=false&amp;useUnicode=true&amp;characterEncoding=UTF-8</value>
    </property>
    <property><!--JDBC驱动-->
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>
    <property><!--mysql用户名-->
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
    </property>
    <property><!--mysql密码-->
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>123456</value>
    </property>

    <!--  
    <property>
        <name>hive.metastore.uris</name>
        <value>thrift://node1:9083</value>
        <description>使用元数据服务的方式访问Hive配置,与使用JDBC方式访问Hive的方式冲突,只能二选一</description>
    </property>
    -->

    <!--使用JDBC方式访问Hive 与元数据访问方式的配置二选一-->
    <property><!--指定HiveServer2连接的host-->
        <name>hive.server2.thrift.bind.host</name>
        <value>node2</value>
    </property>
    <property><!--指定HiveServer2连接的host-->
        <name>hive.server2.thrift.bind.host</name>
        <value>node2</value>
    </property>
    <property><!--指定HiveServer2连接的端口-->
        <name>hive.server2.thrift.port</name>
        <value>10000</value>
    </property>
    <property><!--HiveServer2的高可用参数,开启可以提高访问速度-->
        <name>hive.server2.active.passive.ha.enable</name>
        <value>true</value>
    </property>

    <!--Hive显示配置-->
    <property><!--Hive显示当前库-->
        <name>hive.cli.print.header</name>
        <value>true</value>
    </property>
    <property><!--Hive显示当表头-->
        <name>hive.cli.print.current.db</name>
        <value>true</value>
    </property>

    <!--Hive on spark 依赖Spark包的存储hdfs路径-->
    <property><!--spark的纯净包(without)jar包到hdfs路径,hive on spar