【Hive】配置

已于 2023-03-17 16:48:12 修改
阅读量3.4k 收藏 9
点赞数 3
分类专栏： 大数据开发 文章标签： hive 大数据
于 2023-03-17 16:38:11 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_70770395/article/details/129555090
版权
本文详细介绍了Hive的各种配置方法，包括文件配置、命令行参数配置和参数声明配置。文章还涵盖了如何将元数据从默认的Derby数据库迁移到MySQL，以及Hiveserver2服务的部署和远程访问。此外，还讨论了metastore服务的运行模式、日志配置和JVM堆内存的设置，以及如何关闭Hadoop的虚拟内存检查。
摘要由CSDN通过智能技术生成

目录

Hive参数配置方式

参数的配置方式

1. 文件配置

2.  命令行参数配置

3. 参数声明配置

配置源数据库

配置元数据到MySQL

查看MySQL中的元数据

Hive服务部署

 hiveserver2服务

介绍

部署

启动

远程连接

1. 使用命令行客户端beeline进行远程访问

metastore服务

运行模式

部署

其他常见配置

显示当前表头和库

日志配置

Hive的JVM堆内存设置

关闭Hadoop虚拟内存检查

来源：

Hive参数配置方式

查看当前所有配置

hive>set;

参数的配置方式

1. 文件配置

  • 默认配置文件：hive-default.xml
  • 用户自定义配置文件：hive-site.xml

用户自定义配置会覆盖默认配置。另外，Hive也会读入Hadoop的配置，因为Hive是作为Hadoop的客户端启动的，Hive的配置会覆盖Hadoop的配置。配置文件的设定对本机启动的所有Hive进程都有效。

2.  命令行参数配置

bin/hive -hiveconf (param=value)

 查看参数设置

set (param);

3. 参数声明配置

hive> set (param=value);

 后两种只对本次有效。

配置文件 < 命令行参数 < 参数声明。

log4j相关的设定，必须用前两种方式设定，因为那些参数的读取在会话建立以前已经完成了。

配置源数据库

Hive默认使用的元数据库为derby。derby数据库的特点是同一时间只允许一个客户端访问。如果多个Hive客户端同时访问，就会报错。

删除derby.log，metastore_db，HDFS上目录

rm -rf derby.log metastore_db
hadoop fs -rm -r /user

通过hdfs的web界面 ，删除hdfs里的/user/hive/warehouse/stu

安装mysql

(13条消息) 【Linux】安装MySQL数据库_岱宗夫如何、的博客-CSDN博客

配置元数据到MySQL

新建Hive元数据库

mysql -uroot -p
create database metastore;
quit

将MySQL的JDBC驱动拷贝到Hive的lib目录下

cp /opt/software/mysql-connector-java-5.1.37.jar $HIVE_HOME/lib

在$HIVE_HOME/conf目录下新建hive-site.xml文件

vim $HIVE_HOME/conf/hive-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
 <!-- jdbc连接的URL -->
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://hadoop102:3306/metastore?useSSL=false</value>
    </property>
    
    <!-- jdbc连接的Driver-->
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>
    
	<!-- jdbc连接的username-->
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
    </property>

    <!-- jdbc连接的password -->
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>密码</value>
    </property>

    <!-- Hive默认在HDFS的工作目录 -->
    <property>
        <name>hive.metastore.warehouse.dir</name>
        <value>/user/hive/warehouse</value>
    </property>
</configuration>

初始化Hive元数据库

bin/schematool -dbType mysql -initSchema -verbose

检验测试

bin/hive
hive> show databases;
hive> show tables;
hive> create table stu(id int, name string);
hive> insert into stu values(1,"ss");
hive> select * from stu;
在Xshell窗口中开启另一个窗口开启Hive（两个窗口都可以操作Hive，没有出现异常）
hive> show databases;
hive> show tables;
hive> select * from stu;

查看MySQL中的元数据

mysql -uroot -p
show databases;
use metastore;
show tables;
查看库信息,
有在hdbfs根目录
select * from BDS;
查看表信息
select * from TBLS;
表的存储路径,outputf,inputf
select * from SDS;
查看列相关信息
select * from COLUMNS_V2;

Hive服务部署

 hiveserver2服务

介绍

ve的hiveserver2服务的作用是提供jdbc/odbc接口，为用户提供远程访问Hive数据的功能，例如用户期望在个人电脑中访问远程服务中的Hive数据，就需要用到Hiveserver2。

远程访问集群通过 Hiveserver2 代理；模拟用户的功能，默认是开启的。

未开启用户模拟功能：Hiveserver2的启动用户

 开启用户模拟功能：

 生产环境，推荐开启用户模拟功能，因为开启后才能保证各用户之间的权限隔离。

部署

1. Hadoop端配置

hivesever2的模拟用户功能，依赖于Hadoop提供的proxy user（代理用户功能）；因此，需要将hiveserver2的启动用户设置为Hadoop的代理用户

cd $HADOOP_HOME/etc/hadoop
vim core-site.xml

<!--配置所有节点的atguigu用户都可作为代理用户-->
<property>
    <name>hadoop.proxyuser.atguigu.hosts</name>
    <value>*</value>
</property>

<!--配置atguigu用户能够代理的用户组为任意组-->
<property>
    <name>hadoop.proxyuser.atguigu.groups</name>
    <value>*</value>
</property>

<!--配置atguigu用户能够代理的用户为任意用户-->
<property>
    <name>hadoop.proxyuser.atguigu.users</name>
    <value>*</value>
</property>

分发配置文件

2. 配置Hive 

vim conf/hive-site.xml
<!-- 指定hiveserver2连接的host -->
<property>
	<name>hive.server2.thrift.bind.host</name>
	<value>hadoop102</value>
</property>

<!-- 指定hiveserver2连接的端口号 -->
<property>
	<name>hive.server2.thrift.port</name>
	<value>10000</value>
</property>

启动

bin/hive --service hiveserver2
nohup bin/hiveserver2 >/dev/null 2>&1 &
jps

Jps  jps -ml

Nohup 不挂断， & 后台

Nohup bin/hiveserver2 &

1>/dev/null 丢弃标准输出

2>&1

进程文件描述符   0标准输入 1标准输出 2标准错误

远程连接

1. 使用命令行客户端beeline进行远程访问

hive beeline详解 - 简书 (jianshu.com)

2.使用图形化界面

（DataGrip）

metastore服务

Hive的metastore服务的作用是为Hive CLI或者Hiveserver2提供元数据访问接口。

运行模式

嵌入式模式

 独立服务模式

生产环境中，不推荐使用嵌入式模式。因为其存在以下两个问题：

（1）嵌入式模式下，每个Hive CLI都需要直接连接元数据库，当Hive CLI较多时，数据库压力会比较大。

（2）每个客户端都需要用户元数据库的读写权限，元数据库的安全得不到很好的保证。

部署

嵌入式模式

只需保证Hiveserver2和每个Hive CLI的配置文件hive-site.xml中包含连接元数据库所需要的以下参数即可：

<!-- jdbc连接的URL -->
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://hadoop102:3306/metastore?useSSL=false</value>
    </property>
    
    <!-- jdbc连接的Driver-->
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>
    
	<!-- jdbc连接的username-->
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
    </property>

    <!-- jdbc连接的password -->
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>密码</value>
    </property>

独立服务模式

hive-site.xml

<!-- jdbc连接的URL -->
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://hadoop102:3306/metastore?useSSL=false</value>
    </property>
    
    <!-- jdbc连接的Driver-->
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>
    
	<!-- jdbc连接的username-->
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
    </property>
<!-- jdbc连接的password -->
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>密码</value>
    </property>

<!-- 指定metastore服务的地址 -->
<property>
	<name>hive.metastore.uris</name>
	<value>thrift://hadoop102:9083</value>
</property>

主机名需要改为metastore服务所在节点，端口号无需修改，metastore服务的默认端口就是9083。

在Hive CLI的配置文件中配置了hive.metastore.uris参数，此时Hive CLI会去请求我们执行的metastore服务地址，所以必须启动metastore服务才能正常使用。

测试

hive --service metastore
注意：启动后该窗口不能再操作，需打开一个新的Xshell窗口来对Hive操作。
bin/hive

其他常见配置

显示当前表头和库

hive-site.xml

<!--显示当前使用的表-->
<property>
    <name>hive.cli.print.header</name>
    <value>true</value>
    <description>Whether to print the names of the columns in query output.</description>
</property>
<!--显示当前使用的库-->
<property>
    <name>hive.cli.print.current.db</name>
    <value>true</value>
    <description>Whether to include the current database in the Hive prompt.</description>
</property>

日志配置

log默认配置在/tmp/用户/hive.log

修改log存放目录

cd $HIVE_HOME/conf/
mv hive-log4j2.properties.template hive-log4j2.properties
vim hive-log4j2.properties
property.hive.log.dir=${HIVE_HOME}/logs

Hive的JVM堆内存设置

Hive启动的时候，默认申请的JVM堆内存大小为256M，JVM堆内存申请的太小，导致后期开启本地模式，执行复杂的SQL时经常会报错：java.lang.OutOfMemoryError: Java heap space.

cd $HIVE_HOME/conf
mv hive-env.sh.template hive-env.sh
vim hive-env.sh
# The heap size of the jvm stared by hive shell script can be controlled via:
export HADOOP_HEAPSIZE=2048

关闭Hadoop虚拟内存检查

修改前记得先停Hadoop
stop-yarn.sh
vim yarn-site.xml

<property>
    <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
</property>

分发集群

来源：

尚硅谷

返返返
关注
专栏目录
Hive安装与配置
weixin_44847293的博客
06-21 932
第 1 节 Hive安装配置介绍 Hive官网：http://hive.apache.org 下载网址：http://archive.apache.org/dist/hive/ 文档网址：https://cwiki.apache.org/confluence/display/Hive/LanguageManual 安装前提：3台虚拟机，安装了Hadoop 安装软件：Hive(2.3.7) + MySQL (5.7.26) 备注：Hive的元数据默认存储在自带的 derby 数据库中，生产中多采用MySQL
Hive Hive配置详解
热门推荐
迎难而上
06-25 1万+
整理自 https://www.cnblogs.com/hark0623/p/5650075.html在Hive 安装后，  hive 主要的配置文件为 conf 中  hive-site.xml那该文件中那么多的配置选项都是什么含义呢。下面这篇文章带你解密这些配置请跟随以下这些问题来看以下配置：1.hive输出格式的配置项是哪个？2.hive被各种语言调用如何配置？3.hive提交作业是在hiv...
【大数据】7：Apache Hive（一）
最新发布
2301_76936713的博客
08-13 658
对数据进行统计分析，SQL是目前最为方便的编程工具。大数据体系中充斥着非常多的统计分析场景 所以，使用SQL去处理数据，在大数据中也是有极大的需求的。MapReduce支持程序开发（Java、Python等） 但不支持SQL开发。
Hive配置
weixin_62982569的博客
06-13 2760
hive部署
hive-site.xml 这是一份我本地配置的好用的
09-04
hive-site.xml 这是一份我本地配置的好用的，hadoop2.7.3 搭建hive-site.xml可以参考一下，希望对您有帮助啊
hive-site.xml 配置
hxsln11的博客
08-12 493
F:\hive_sql学习\hadoop01。1.hive-site自己.xml。
hive配置相关文件.zip
10-14
这个"hive配置相关文件.zip"压缩包包含了构建和配置Hive环境所需的几个关键组件，以及一个配置文件，这对于初次接触或者需要调整Hive环境的人来说非常有用。接下来，我们将详细探讨这些组件和配置文件的作用。 1. *...
hive 配置文件
03-03
- **`HIVE_CONF_DIR`**: Hive配置文件的目录，通常包含`hive-site.xml`。 - **`JAVA_HOME`**: Java的安装目录，Hive是用Java编写的，所以需要Java环境。 - **`HIVE_AUX_JARS_PATH`**: 用于指定额外的JAR文件路径，...
Hive配置(Oracle数据库为元数据)
09-27
### Hive配置(Oracle数据库为元数据) #### 一、概述 Apache Hive 是一个基于 Hadoop 的数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的 SQL 查询功能，可以将 SQL 语句转换为 MapReduce ...
hive配置文件信息修改
07-13
虽然DataX的配置通常在JSON格式的配置文件中完成，但与Hive、Hadoop和Spark的集成可能会涉及上述组件的配置调整，以确保数据传输的效率和正确性。 总的来说，理解和灵活调整这些组件的配置文件信息对于优化大数据...
hive配置Kerbros安全认证_hive kereveros(2)
2401_84264610的博客
04-26 1213
Client：需要访问服务的用户（principal），KDC和Service会对用户的身份进行认证。Service：集成了Kerberos的服务，如HDFS/YARN/HBase等。principal：当每添加一个用户或服务的时候都需要向kdc添加一条principal，principl的形式为 主名称／实例名@领域名。TGT : 票证授予票证。SGT : 服务授予票证。或者使用下面这个：客户机在hadoop的从节点上安装即可。在安装的kerbros服务端上修改即可。​。
hive配置
weixin_48960305的博客
09-04 462
一、Hive的简介 1.1 出现的原因 facebook团队要管理和分析大量的结构化的日志文件，因为写mapreduce非常麻烦,所以该团队就开发出来一个框架，叫hive. 1.2 hive是什么 hive是一款运行在hadoop上的数据仓库管理工具，可以将具有结构化的数据文件映射成一张数据表，使用类似sql的方式来对这种文件进行读、写、管理(包括元数据)等。这种类sql的语言，称之为Hive SQL,简称HQL。 实际上hive底层是mapreduce或者是spark或者是tez. 如果是mapred
hive的配置
weixin_57405721的博客
12-02 2482
Hive安装的前提： -安装JDK 1.8.0_181 查看方法 window+r cmd 进入 输入命令 java -version -安装 Hadoop-2.4.1 查看方法 Hadoop里面输入命令 Hadoop version -安装MySQL 5.7.17 登录mysql即可看到版本信息 一安装： 1.下载hive最新稳定版本的包，并压缩到用户主目录下面 ： tar -xzvf apache-hive-2.1.1-bin.tar.gz ...
Hive单节点核心配置hive-site.xml
weixin_44943389的博客
06-29 403
【代码】Hive核心配置hive-site.xml。
配置Hive
liyan_1013的博客
07-07 450
在配置mysql数据库和hadoop伪分布式的前提下配置Hive1.解压apache-hive-2.1.0-bin.tar.gz文件tar -xzvf apache-hive-2.1.0-bin.tar.gz2.重命名为hivemv apache-hive-2.1.0-bin hive3.配置/etc/profile文件,添加一下内容 4.刷新文件source /etc/profile5.进入hive文件的conf目录下cd hive/conf5.复制hive-env.sh.template文件cp h
Hive安装及配置
BD_ZZQ的博客
11-18 2887
Hive安装及配置，Hive对MySQL的utf8有影响，如果MySQL为utf8，很可能就会导致后面的hive操作受影响，本人就是将MySQL编码格式改成了utf8，导致后来drop table table_name一直处于卡死状态
hive安装（配置文件hive-site.xml）
qq_53810226的博客
03-29 7255
<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <!-- jdbc 连接的 URL --> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://node01:33
linux执行hive -e报错FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.tez.TezTask
08-18
这个错误是在运行Hive时出现的，报错信息为"FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.tez.TezTask"。这通常是由于内存不足导致的问题。根据引用中的解决方案，可以尝试以下两种方法来解决这个问题。 第一种方法是关闭虚拟内存检查。你可以修改yarn-site.xml文件，将yarn.nodemanager.vmem-check-enabled的值设置为false。具体操作如下： ```bash cd /opt/module/hadoop-3.1.3/etc/hadoop vim yarn-site.xml <property> <name>yarn.nodemanager.vmem-check-enabled</name> <value>false</value> </property> ``` 第二种方法是在mapred-site.xml中设置Map和Reduce任务的内存配置。你可以根据自己的机器内存大小和应用情况修改以下配置： ```bash <property> <name>mapreduce.map.memory.mb</name> <value>1536</value> </property> <property> <name>mapreduce.map.java.opts</name> <value>-Xmx1024M</value> </property> <property> <name>mapreduce.reduce.memory.mb</name> <value>3072</value> </property> <property> <name>mapreduce.reduce.java.opts</name> <value>-Xmx2560M</value> </property> ``` 通过尝试这两种方法，你应该能够解决"FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.tez.TezTask"的问题。希望对你有帮助。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [已解决：FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.tez.TezTask](https://blog.csdn.net/qq_43408367/article/details/128601584)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] - *2* *3* [FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.tez.TezTask](https://blog.csdn.net/weixin_44870066/article/details/123902421)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

返返返

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值