Hive：启动JVM堆内存配置

最新推荐文章于 2024-05-23 13:36:09 发布
最新推荐文章于 2024-05-23 13:36:09 发布
阅读量543 收藏 2
点赞数
文章标签： hive jvm hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45427648/article/details/131839085
版权
文章讲述了在新版Hive中，由于默认的JVM堆内存设置为256M，这可能导致执行复杂SQL时出现`java.lang.OutOfMemoryError:Javaheapspace`错误。解决方案是修改`HADOOP_HEAPSIZE`参数，将其值改为1024MB，通过编辑`/opt/module/hive/conf/hive-env.sh`文件实现这一更改。
摘要由CSDN通过智能技术生成

Hive启动JVM堆内存配置

1.问题：
新版Hive启动时，默认申请的JVM堆内存大小为256M，内存太小，导致若后期开启本地模式，执行相对复杂的SQL经常会报错：java.lang.OutOfMemoryError: Java heap space

2.解决：修改HADOOP_HEAPSIZE参数的值
1）修改/opt/module/hive/conf/下的hive-env.sh.template
[atguigu@hadoop102 hive]$ mv conf/hive-env.sh.template conf/hive-env.sh
[atguigu@hadoop102 hive]$ vim conf/hive-env.sh
……
export HADOOP_HEAPSIZE=1024

程序员无羡
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
CDH 中hive的 Hive Metastore Server中JVM 堆栈内存溢出问题分析
hcq_lxq的博客
12-09 2775
问题： 在操作BDR迁移hive数据的过程中。新集群的CM界面突然无法显示，最中后台找到对应BDR任务手动杀死进程，重启集群的server和agent服务。CM界面正常显示，但是过了一会HMS异常退出。CM界面CMS中JVM 堆栈内存显示高出设定值。重启CMS过一段时间还是会自动挂掉。JVM 堆栈内存显示仍然高出设定值。 问题： 经过排查发现元数据库磁盘空间不足，发现hive元数据库notification_log表竟然几百G,数据库扩容后仍然没用。最后查到noti...
Hive安装与配置的教程.md
最新发布
06-05
- **JVM堆内存**：调整 JVM 堆内存设置，如增加最大堆内存大小。 - **关闭Hadoop的虚拟内存检查**：这一步骤可提高性能。 #### 三、总结 以上就是关于 Hive 安装与配置的详细教程。需要注意的是，具体的安装步骤和...
大数据从入门到精通(超详细版)之 Hive的配置与基本语法
tyuiop321的博客
09-02 406
之前的文章里面我们学习了Hive的入门认识 , 安装部署 , 以及hive shell 和 hiveServer2的使用.接下来我们来深入学习Hive的详细知识.首先进行一个知识回顾与巩固Hive的简介与安装部署Hive从入门到精通 : (1) Hive的HiveServer2的使用Hive 是一个基于 Hadoop 的数据仓库基础架构，它提供了类似于 SQL 的查询语言用于分析和处理大规模的结构化数据。Hive 的设计目标是使非技术人员能够轻松地使用 SQL 进行数据分析，而无需编写复杂的 MapRedu
Hive快速入门系列(19) | Hive性能调优 [六] JVM重用
不温卜火
05-09 1万+
  此次博主为大家带来的是Hive性能调优中的JVM重用。   JVM重用是Hadoop调优参数的内容，其对Hive的性能具有非常大的影响，特别是对于很难避免小文件的场景或task特别多的场景，这类场景大多数执行时间都很短。   Hadoop的默认配置通常是使用派生JVM来执行map和Reduce任务的。这时JVM的启动过程可能会造成相当大的开销，尤其是执行的job包含有成百上千task任务的情...
hive 常用参数、参数优化_set hive
2301_82257317的博客
05-23 804
我还通过一些渠道整理了一些大厂真实面试主要有：蚂蚁金服、拼多多、阿里云、百度、唯品会、携程、丰巢科技、乐信、软通动力、OPPO、银盛支付、中国平安等初，中级，高级Java面试题集合，附带超详细答案，希望能帮助到大家。还有专门针对JVM、SPringBoot、SpringCloud、数据库、Linux、缓存、消息中间件、源码等相关面试题。[外链图片转存中…(img-0MDIErc9-1716442547051)]
Hadoop系列-MapReduce性能优化（十四）
Toby的博客
11-22 636
MapReduce调优
Hive常用参数调优汇总
欲望以提升热忱 毅力以磨平高山
10-28 3489
1、limit限制调整 一般情况下，Limit语句还是需要执行整个查询语句，然后再返回部分结果。 有一个配置属性可以开启，避免这种情况---对数据源进行抽样 hive.limit.optimize.enable=true --- 开启对数据源进行采样的功能 hive.limit.row.max.size --- 设置最小的采样容量 hive.limit.optimize.limit.file --- 设置最大的采样样本数 缺点：有可能部分数据永远不会被处理到 2.JOIN优化 1). .
Hive性能调优之JVM重用(5)
大数据梦想家
12-01 6646
        JVM重用是Hadoop调优参数的内容，其对Hive的性能具有非常大的影响，特别是对于很难避免小文件的场景或task特别多的场景，这类场景大多数执行时间都很短。         Hadoop的默认配置通常是使用派生JVM来执...
【Hadoop】运维记录
u013202518的博客
04-04 1402
1. namenode 被重新格式化，datanode数据版本与namenode不一致 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in /home/hadoop/tmp/dfs/data: namenode namespaceID = 39895076; datanode namespaceID = 1030326122 删除datanode
Hive 调优
记录点点滴滴
05-11 1379
Hive 调优 执行计划（Explain） 基本语法 查看执行计划 查看详细执行计划 Fetch抓取 设置成 none 设置成 more 本地模式 HQL 语法优化 小表大表 Join ( MapJoin ) 设置 MapJoin 参数 MapJoin 工作机制 创建表 导入数据 Join 大表 Join 大表 空 KEY 过滤 空key转换 不随机分布空null值 随机分布空 null 值 SMB ( Sort Merge Bucket join ) Group By Count(Distinct) 去重
基于虚拟机hadoop集群hive2.1.1配置文件
10-24
此外，还可以在这里配置Java运行时参数，比如JVM内存大小，以优化Hive的性能。 4. **hive-site.xml**：这是Hive的核心配置文件，包含了Hive的各种配置选项，如Hive的元数据存储位置、执行引擎类型（如MapReduce或...
hive监控巡检优化文档
05-25
- 监控HiveServer2的JVM内存使用情况，防止因内存不足导致的服务不稳定或中断。 - 使用`jmap`、`jstat`等工具来监控JVM内存。 - **角色cpu使用率使用有激增或者异常** - 定期检查HiveServer2进程的CPU使用率，...
Yarn 内存分配管理机制及相关参数配置.
05-17
政务云设置中，map任务JVM内存为3686MB，reduce任务为7372MB，这些值应在Container内存大小范围内，并且AM2建议是AM1的两倍。 在内存分配过程中，如果AM请求的内存小于`yarn.scheduler.minimum-allocation-mb`，RM...
HIVE 内存溢出常见问题
热门推荐
yisun123456的博客
08-01 3万+
MapReduce作业运行过程中内存溢出错误分类 1、Mapper/Reducer阶段JVM内存溢出（一般都是堆） 1)JVM堆(Heap)内存溢出：堆内存不足时，一般会抛出如下异常： 第一种：“java.lang.OutOfMemoryError:” GC overhead limit exceeded； 第二种：“Error: Java heapspace”异常信息； 第三种：“ru...
hadoop的内存heap大小的配置参数
小泥巴的玩伴
04-01 1万+
1、tasktracker的heapsize的大小设置   mapred.child.java.opts   -Xmx200m   Java opts for the task tracker child processes.     The following symbol, if present, will be interpolated: @taskid@ is replaced
黑猴子的家：Hive 扩展项目五之JVM堆内存溢出
黑猴子的博客
09-30 309
1、描述 java.lang.OutOfMemoryError: Java heap space 2、解决 在yarn-site.xml中加入如下代码 ##允许最大MapReduce字节数 <property> <name>yarn.scheduler.maximum-allocation-mb</name> <value&...
Hive Hive配置详解
迎难而上
06-25 1万+
整理自 https://www.cnblogs.com/hark0623/p/5650075.html在Hive 安装后，  hive 主要的配置文件为 conf 中  hive-site.xml那该文件中那么多的配置选项都是什么含义呢。下面这篇文章带你解密这些配置请跟随以下这些问题来看以下配置：1.hive输出格式的配置项是哪个？2.hive被各种语言调用如何配置？3.hive提交作业是在hiv...
关于HADOOP_HEAPSIZE参数(转)
weixin_34025151的博客
04-23 1555
原文链接： http://www.oratea.net/?p=821 HADOOP_HEAPSIZE参数是控制hadoop的jvm内存大小的。 这个参数的设置要结合当前服务器的内存情况。 今天测试环境的hadoop出现问题，一些与jvm相关的操作都会报内存不够的错误，如下： [hadoop@jdk1.6.0_20]$jps Erroroccurredduringinitializa...
hadoop内存大小设置问题
不积跬步，无以致千里；不积小流，无以成江海
07-13 1万+
前面博客里面提到，运行一次hadoop的时候出现java heap error。字面意思分配堆的时候出现错误，我们知道应用程序的动态内存的分配均在堆里面。这里提示堆错误，那必然是内存不够用了。那么这个namenode内存的大小该怎么取值呢？ namenode管理着集群里面所有文件的信息。简单根据文件信息给出一个准确计算内存大小的公式是不现实的。 hadoop默认namenode内存的大小为10
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

程序员无羡

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值