HiveServer2经常异常退出，导致连接失败

最新推荐文章于 2024-10-30 16:39:57 发布
最新推荐文章于 2024-10-30 16:39:57 发布
阅读量4k 收藏 4
点赞数 1
分类专栏： HiveServer2 文章标签： hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Michael312917/article/details/109722147
版权
在Hive On Spark项目中，当处理大量数据查询或数据插入时，遇到HiveServer2异常退出的问题，表现为ParquetRecordReader初始化失败和连接主机超时。解决方案是调整HiveServer2的Java堆栈大小，增大内存配置以适应系统需求，避免内存溢出和运行卡顿。
摘要由CSDN通过智能技术生成

1 问题描述

在项目中搭建Hive On Spark，在执行查询的数据量比较大时或者查询出来的数据再次插入到DWD层时，经常性的报如下两个错误：

  • 1 ERROR org.apache.parquet.hadoop.ParquetRecordReader: [aafa2e51-4efa-4437-9b07-86b8d55570f0 HiveServer2-Handler-Pool: Thread-47]: Can not initialize counter due to context is not a instance of TaskInputOutputContext, but is org.apache.hadoop.mapreduce.task.TaskAttemptContextImpl
    在这里插入图片描述

  • 2
    Could not connect to 主机名:10000(code THRIFTTRANSPORT):TTransportExportException(‘Could not connect to 主机名:10000’,)
    在这里插入图片描述

2 解决方案

修改HiveServer2的Java堆栈大小，CDH6.2.1版本默认是50M，较小
运行时出现如上错误或者运行比较卡顿的情况下，将此值根据自己的系统配置进行调大

最低0.47元/天 解锁文章
解决CDH HiveServer2 因OutOfMemory errors原因造成异常退出问题
gmHappy
04-27 2366
问题描述 在诊断->事件中出现如下图异常： 异常描述： The health test result for HIVESERVER2_UNEXPECTED_EXITS has become bad: This role encountered 1 unexpected exit(s) in the previous 5 minute(s).This included 1 exit(s) due to OutOfMemory errors. Critical threshold: any. 解决方
ImpalaD节点服务启动失败分析
wangkuangood3200的专栏
09-16 2271
现象描述： 生产环境老离线集群（CDH5.2）的一台impalaD节点服务异常，CM页面显示该节点的服务并无异常。 然而无论是客户端通过jdbc/odbc方式还是直接在该impala节点通过impala-shell来连接该节点都会报错（该集群impala未使用hiveserver2+haproxy+keepalive方案，客户端直连impalad节点）： hostname:/tmp# imp...
Hiveserver2异常退出，导致连接失败的问题。
LLDDDS的博客
09-11 1561
Could not connect to hadoop02:10000(code THRIFTTRANSPORT):TTransportExportException(‘Could not connect to hadoop02:10000’,) 解决方法：修改HiveServer2 的 Java 堆栈大小. 默认配置为50MB,比较小,运行时会出现上面的错误以及运行卡顿的情况,建议将值根据自己的系统配置调大. ...
[Hive 报错]HiveServer2服务运行异常
最新发布
smoogy的博客
10-30 498
通常在学习过程中，先启动集群hadoop，然后再启动HiveServer2，就会HiveServer服务运行异常。
beeline 连接 hiveserver2 失败
骑着蜗牛向前跑的博客
07-19 801
org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.authorize.AuthorizationException): User: deployer is not allowed to impersonate anonymous (state=08S01,code=0)
基于SQL标准的Hive授权 HiveServer2 连接不上的解决方法
houzhizhen的专栏
02-17 1783
hive-site.xml <property> <name>hive.users.in.admin.role</name> <value>houzhizhen,admin</value> <description> Comma separated list of users who are in admin role for bootstrapping. More users can b
hiveserver2掉线修复
weixin_39037208的博客
12-09 2140
使用hive发现hiveserver2有时会挂掉，查看hive.log发现里边没有相关信息， 但在启动hiveserver2的目录下还有一个nohup.out文件，这里边保存有运行信息，打开发现是因为 这种情况是出现在运行了一个错误的查询之后，可以重启或者将值稍微调大一点。 ...
orc文件导致hiveserver2的内存泄漏
wm_1002的博客
01-03 776
CDH6.0.1 hive orc导致内存增长问题解决
Hive调优及参数优化（详细版）
热门推荐
奇迹虎虎的博客
02-18 1万+
Hive调优及参数优化，涵盖：基础配置优化、压缩配置优化、分桶优化、Map Join、Bucket-Map Join、SMB Join、Hive并行操作、Hive索引、数据清洗转换优化、统计分析优化、Hive优化器等等......
【Hive-优化】Hive的优化方式一（通过ClouderaManager进行参数优化）
weixin_53543905的博客
12-25 1471
CDH支持的引擎一共有两个 一个是MR，另一个是Spark，但是Spark不一定比MR快，因为经历了Hive2.0的版本和Hadoop3.0的版本后，MR的性能已经得到了大幅度的提升，如果要配置配置如下即可。Hive的默认查询执行引擎一次处理一行，而矢量化查询执行是一种Hive特性，目的是按照每批1024行读取数据，并且一次性对整个记录整合（而不是对单条记录）应用操作。因为我们使用的是hive2.0.0的版本，Hadoop3.0的版本，新版本在对于JVM重用方面进行了优化，所以在这里不用配置了。
hive搭建方法
weixin_64967278的博客
12-12 729
1、MySql安装 1）检查当前系统是否安装过Mysql [soft863@hadoop102 ~]$ rpm -qa|grep mariadb mariadb-libs-5.5.56-2.el7.x86_64 //如果存在通过如下命令卸载 [soft863 @hadoop102 ~]$ rpm -e --nodeps mariadb-libs //用此命令卸载mariadb 2）将MySQL安装包拷贝到/opt/software目录下 [soft863@hadoop102 softw...
【Hive】 HiveServer2 内存溢出总结
扬_帆_起_航
08-02 719
用户使用Beeline访问HiveServer2 (3.1.2版本) 执行离线SQL任务，持续运行一周后HiveServer2就出现OOM现象，严重影响数据查询与报表产出，经过几轮修复问题终于解决。作者把修复过的问题进行了汇总，避免其他小伙伴再遇到此问题时束手无策。笔者使用HiveServer2版本为3.1.2，由于此版本内存泄漏问题较多，大家可根据上述案例进行编译修复，如遇到其他BUG或性能问题，建议多去社区看看。
hive出现内存溢出_hive 常见错误和解决
weixin_32302013的博客
01-27 1442
1. 如果更换Tez引擎后，执行任务卡住，可以尝试调节容量调度器的资源调度策略将 $HADOOP_HOME/etc/hadoop/capacity-scheduler.xml 文件中的yarn.scheduler.capacity.maximum-am-resource-percent0.1Maximum percent of resources in the cluster whic...
hive的warn
sunlang的博客
06-12 1648
2020-6-12 14:40:24 警告: parquet.hadoop.ParquetRecordReader: Can not initialize counter due to context is not a instance of TaskInputOutputContext, but is org.apache.hadoop.mapreduce.task.TaskAttemptContextImpl 2020-6-12 14:40:24 信息: parquet.hadoop.Internal.
Spark SQL 笔记(18)——spark SQL 总结(1)
一角残叶的博客
11-17 1053
1 Spark SQl 使用场景 Ad-hoc querying of data in files Live SQL analytics over streaming data ETL capabilities alongside familiar SQL Interaction with external Databases Scalable query performance with la...
第62课：SparkSQL下的Parquet使用最佳实践和代码实践学习笔记
slq1023的博客
04-02 6026
第62课：SparkSQL下的Parquet使用最佳实践和代码实践学习笔记 本期内容： 1 SparkSQL下的Parquet使用最佳实践 2 SparkSQL下的Parquet实战   一：Spark SQL下的Parquet使用最佳实践 1， 过去整个业界对大数据的分析的技术栈的Pipeline一般分为以下两种方式： a) Data Source->HDFS->MR/Hive/S
hive和impala查询数据对比
老农民挖数据
07-10 3156
首先impala查询数据，更像rdbms一样（mysql）。 --1.impala连接  [root@MASTER01 ~]# impala-shell -islave03; Starting Impala Shell without Kerberos authentication Connected to slave03:21000 Server version: impalad v
Spark中组件Mllib的学习9之ALS训练的model来预测数据的准确率研究
Keep Learning
05-17 3989
更多代码请见：https://github.com/xubo245/SparkLearning1解释 研究ALS的准确率2.代码：package org.apache.spark.mllib.learning.recommendimport java.text.SimpleDateFormat import java.util.Dateimport org.apache.spark.{SparkC
基因数据处理74之从HDFS读取vcf文件存为Adam的parquet文件（有问题）
Keep Learning
12-25 1129
1.small.vcf: 没记录2.读取：5 load time:3287 ms {"variant": {"variantErrorProbability": 139, "contig": {"contigName": "1", "contigLength": null, "contigMD5": null, "referenceURL": null, "assembly": null, "sp
hiveserver2退出
07-28
根据引用\[1\]，你提到Cloudera Manager web界面出现了三个红点，指示了HBase Master、Namenode和ResourceManager的运行状况测试不良，原因是Service Monitor未找到活动的XXX。然而，你确认这些服务都是正常的，HDFS的读写、HBase的建表查询和MapReduce的任务都能正确运行。 根据引用\[2\]，Cloudera Manager执行了通过-失败测试（Pass-fail tests），这些测试用于确保服务正常运行并能响应请求。HDFS（NameNode角色）、HBase和ZooKeeper服务会执行这些测试，也称为“canary”测试。通过-失败测试的结果可能是良好（Good）或不良（Bad）。 根据引用\[3\]，在诊断->事件中，出现了HIVESERVER2_UNEXPECTED_EXITS的异常，描述为该角色在过去的5分钟内遇到了1次意外退出，其中包括1次由于OutOfMemory错误导致的退出。解决方案需要进一步分析。 综上所述，根据提供的信息，HiveServer2退出的问题可能与Cloudera Manager的运行状况测试不良有关。建议进一步检查Cloudera Manager的配置和日志，以确定导致HiveServer2退出的具体原因，并采取相应的解决方案。 #### 引用[.reference_title] - *1* *2* [CentOS7+CDH6.3安装CDH错误排查： HiveServer2 该角色的进程已退出。该角色的预期状态为已启动](https://blog.csdn.net/weixin_43214644/article/details/115741239)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] - *3* [解决CDH HiveServer2 因OutOfMemory errors原因造成异常退出问题](https://blog.csdn.net/ctwy291314/article/details/116191071)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值