Caused by: org.apache.thrift.transport.TTransportException

已于 2024-06-28 15:32:26 修改
阅读量133 收藏
点赞数 1
分类专栏： HADOOP 数据库 hive 文章标签： apache hive 大数据
于 2024-06-28 15:20:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_37288262/article/details/140044098
版权
数据库 同时被 3 个专栏收录
4 篇文章 0 订阅
订阅专栏
HADOOP
2 篇文章 0 订阅
订阅专栏
hive
1 篇文章 0 订阅
订阅专栏

2024-06-28 14:54:12 WARN RetryingMetaStoreClient:257 - MetaStoreClient lost connection. Attempting to reconnect (1 of 1) after 1s. setPartitionColumnStatistics org.apache.thrift.transport.TTransportException

Caused by: org.apache.thrift.transport.TTransportException

具体告警如下

hive客户端插入数据到表出现如何告警。

2024-06-28 14:54:12 WARN  RetryingMetaStoreClient:257 - MetaStoreClient lost connection. Attempting to reconnect (1 of 1) after 1s. setPartitionColumnStatistics
org.apache.thrift.transport.TTransportException
    at org.apache.thrift.transport.TIOStreamTransport.read(TIOStreamTransport.java:132)
    at org.apache.thrift.transport.TTransport.readAll(TTransport.java:86)
    at org.apache.thrift.protocol.TBinaryProtocol.readAll(TBinaryProtocol.java:429)
    at org.apache.thrift.protocol.TBinaryProtocol.readI32(TBinaryProtocol.java:318)
    at org.apache.thrift.protocol.TBinaryProtocol.readMessageBegin(TBinaryProtocol.java:219)
    at org.apache.thrift.TServiceClient.receiveBase(TServiceClient.java:77)
    at org.apache.hadoop.hive.metastore.api.ThriftHiveMetastore$Client.recv_set_aggr_stats_for(ThriftHiveMetastore.java:4104)
    at org.apache.hadoop.hive.metastore.api.ThriftHiveMetastore$Client.set_aggr_stats_for(ThriftHiveMetastore.java:4091)
    at org.apache.hadoop.hive.metastore.HiveMetaStoreClient.setPartitionColumnStatistics(HiveMetaStoreClient.java:1927)
    at org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient.setPartitionColumnStatistics(SessionHiveMetaStoreClient.java:409)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:498)
    at org.apache.hadoop.hive.metastore.RetryingMetaStoreClient.invoke(RetryingMetaStoreClient.java:212)
    at com.sun.proxy.$Proxy34.setPartitionColumnStatistics(Unknown Source)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:498)
    at org.apache.hadoop.hive.metastore.HiveMetaStoreClient$SynchronizedHandler.invoke(HiveMetaStoreClient.java:2773)
    at com.sun.proxy.$Proxy34.setPartitionColumnStatistics(Unknown Source)
    at org.apache.hadoop.hive.ql.metadata.Hive.setPartitionColumnStatistics(Hive.java:4420)
    at org.apache.hadoop.hive.ql.stats.ColStatsProcessor.persistColumnStats(ColStatsProcessor.java:179)
    at org.apache.hadoop.hive.ql.stats.ColStatsProcessor.process(ColStatsProcessor.java:83)
    at org.apache.hadoop.hive.ql.exec.StatsTask.execute(StatsTask.java:108)
    at org.apache.hadoop.hive.ql.exec.Task.executeTask(Task.java:205)
    at org.apache.hadoop.hive.ql.exec.TaskRunner.runSequential(TaskRunner.java:97)
    at org.apache.hadoop.hive.ql.Driver.launchTask(Driver.java:2664)
    at org.apache.hadoop.hive.ql.Driver.execute(Driver.java:2335)
    at org.apache.hadoop.hive.ql.Driver.runInternal(Driver.java:2011)
    at org.apache.hadoop.hive.ql.Driver.run(Driver.java:1709)
    at org.apache.hadoop.hive.ql.Driver.run(Driver.java:1703)
    at org.apache.hadoop.hive.ql.reexec.ReExecDriver.run(ReExecDriver.java:157)
    at org.apache.hadoop.hive.ql.reexec.ReExecDriver.run(ReExecDriver.java:218)
    at org.apache.hadoop.hive.cli.CliDriver.processLocalCmd(CliDriver.java:239)
    at org.apache.hadoop.hive.cli.CliDriver.processCmd(CliDriver.java:188)
    at org.apache.hadoop.hive.cli.CliDriver.processLine(CliDriver.java:402)
    at org.apache.hadoop.hive.cli.CliDriver.executeDriver(CliDriver.java:821)
    at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:759)
    at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:683)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:498)
    at org.apache.hadoop.util.RunJar.run(RunJar.java:323)
    at org.apache.hadoop.util.RunJar.main(RunJar.java:236)
2024-06-28 14:54:13 INFO  RetryingMetaStoreClient:181 - RetryingMetaStoreClient trying reconnect as root (auth:SIMPLE)
2024-06-28 14:54:13 INFO  HiveMetaStoreClient:600 - Closed a connection to metastore, current connections: 1
2024-06-28 14:54:13 INFO  HiveMetaStoreClient:441 - Trying to connect to metastore with URI thrift://hadoop110:9083
2024-06-28 14:54:13 INFO  HiveMetaStoreClient:517 - Opened a connection to metastore, current connections: 2
2024-06-28 14:54:13 INFO  HiveMetaStoreClient:570 - Connected to metastore.
2024-06-28 14:54:13 ERROR StatsTask:114 - Failed to run stats task
org.apache.hadoop.hive.ql.metadata.HiveException: org.apache.thrift.transport.TTransportException
    at org.apache.hadoop.hive.ql.metadata.Hive.setPartitionColumnStatistics(Hive.java:4423)
    at org.apache.hadoop.hive.ql.stats.ColStatsProcessor.persistColumnStats(ColStatsProcessor.java:179)
    at org.apache.hadoop.hive.ql.stats.ColStatsProcessor.process(ColStatsProcessor.java:83)
    at org.apache.hadoop.hive.ql.exec.StatsTask.execute(StatsTask.java:108)
    at org.apache.hadoop.hive.ql.exec.Task.executeTask(Task.java:205)
    at org.apache.hadoop.hive.ql.exec.TaskRunner.runSequential(TaskRunner.java:97)
    at org.apache.hadoop.hive.ql.Driver.launchTask(Driver.java:2664)
    at org.apache.hadoop.hive.ql.Driver.execute(Driver.java:2335)
    at org.apache.hadoop.hive.ql.Driver.runInternal(Driver.java:2011)
    at org.apache.hadoop.hive.ql.Driver.run(Driver.java:1709)
    at org.apache.hadoop.hive.ql.Driver.run(Driver.java:1703)
    at org.apache.hadoop.hive.ql.reexec.ReExecDriver.run(ReExecDriver.java:157)
    at org.apache.hadoop.hive.ql.reexec.ReExecDriver.run(ReExecDriver.java:218)
    at org.apache.hadoop.hive.cli.CliDriver.processLocalCmd(CliDriver.java:239)
    at org.apache.hadoop.hive.cli.CliDriver.processCmd(CliDriver.java:188)
    at org.apache.hadoop.hive.cli.CliDriver.processLine(CliDriver.java:402)
    at org.apache.hadoop.hive.cli.CliDriver.executeDriver(CliDriver.java:821)
    at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:759)
    at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:683)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:498)
    at org.apache.hadoop.util.RunJar.run(RunJar.java:323)
    at org.apache.hadoop.util.RunJar.main(RunJar.java:236)
Caused by: org.apache.thrift.transport.TTransportException
    at org.apache.thrift.transport.TIOStreamTransport.read(TIOStreamTransport.java:132)
    at org.apache.thrift.transport.TTransport.readAll(TTransport.java:86)
    at org.apache.thrift.protocol.TBinaryProtocol.readAll(TBinaryProtocol.java:429)
    at org.apache.thrift.protocol.TBinaryProtocol.readI32(TBinaryProtocol.java:318)
    at org.apache.thrift.protocol.TBinaryProtocol.readMessageBegin(TBinaryProtocol.java:219)
    at org.apache.thrift.TServiceClient.receiveBase(TServiceClient.java:77)
    at org.apache.hadoop.hive.metastore.api.ThriftHiveMetastore$Client.recv_set_aggr_stats_for(ThriftHiveMetastore.java:4104)
    at org.apache.hadoop.hive.metastore.api.ThriftHiveMetastore$Client.set_aggr_stats_for(ThriftHiveMetastore.java:4091)
    at org.apache.hadoop.hive.metastore.HiveMetaStoreClient.setPartitionColumnStatistics(HiveMetaStoreClient.java:1927)
    at org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient.setPartitionColumnStatistics(SessionHiveMetaStoreClient.java:409)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:498)
    at org.apache.hadoop.hive.metastore.RetryingMetaStoreClient.invoke(RetryingMetaStoreClient.java:212)
    at com.sun.proxy.$Proxy34.setPartitionColumnStatistics(Unknown Source)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:498)
    at org.apache.hadoop.hive.metastore.HiveMetaStoreClient$SynchronizedHandler.invoke(HiveMetaStoreClient.java:2773)
    at com.sun.proxy.$Proxy34.setPartitionColumnStatistics(Unknown Source)
    at org.apache.hadoop.hive.ql.metadata.Hive.setPartitionColumnStatistics(Hive.java:4420)
    ... 24 more

解决方案：临时性解决方案：在hive-site.xml配置中添加以下设置。

<property>
  <name>hive.stats.autogather</name>
  <value>false</value>
</property>
柳暗花明又一cun
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Caused by: java.lang.ClassNotFoundException: org.apache.commons.collections.Transformer异常
08-18
在这个特定的场景中，异常堆栈跟踪显示了 `Caused by: java.lang.ClassNotFoundException: org.apache.commons.collections.Transformer`，这表明系统无法找到 `org.apache.commons.collections.Transformer` 类。...
Hive belline提交命令Error: org.apache.thrift.transport.TTransportException: java.net.SocketException:
乔治大哥的博客
11-05 1万+
Error: org.apache.thrift.transport.TTransportException: java.net.SocketException: Brok en pipe (Write failed) (state=08S01,code=0) 检查hiveserver2的服务是不是被终止了，重新启动hiveserver2 并重新连接hive belline即可： ...
Hive 和 presto 在使用连接池时遇到org.apache.thrift.transport.TTransportException: java.net.SocketTimeoutExcept
热门推荐
u011602667的专栏
07-13 1万+
最近在开发多数据源的通用取数接口时，采用连接池的方式分别初始化hive 和 presto的5个连接，在调用hive的过程中遇到了DEBUG 07-13 11:09:48(TSaslTransport.java:459): CLIENT: reading data length: 109ERROR 07-13 11:09:49(DaoHelper.java:75): getmaps error sq...
spark开发问题汇总
盛源的博客
09-23 3422
1 可能导致内存溢出的聚合函数 1 错误代码 Container exited with a non-zero exit code 134. Error file: prelaunch.err. Last 4096 bytes of prelaunch.err 2 函数 collect_set 、 collect_list 3 原因 某个key值(null, unknown, 空串)过多, 被聚合的value值过多, 导致范围(数组超范围)超限; 3 解决方法 1) 调大内存 2) .
hive 插入数据报错 org.apache.hadoop.hive.ql.metadata.HiveException: org.apache.thrift.transport.TTransport
qq_40555400的博客
03-24 6645
问题描述 执行语句 create table test(id int); 然后 向新创建的表中插入数据 insert into test values(1); 控制台 报错 org.apache.hadoop.hive.ql.metadata.HiveException: org.apache.thrift.transport.TTransportException at org.apache.hadoop.hive.ql.metadata.Hive.setPartitionColumnSta
Caused by: java.lang.ClassNotFoundException: org.objectweb.asm.Type异常
09-16
在这个特定的场景中，异常堆栈跟踪显示 `Caused by: java.lang.ClassNotFoundException: org.objectweb.asm.Type`，这表明在运行时，系统无法找到`org.objectweb.asm.Type`这个类。`org.objectweb.asm` 是一个用于...
Android Caused by: java.lang.ClassNotFoundException解决办法
08-31
"Android Caused by: java.lang.ClassNotFoundException解决办法" 在 Android 开发中，ClassNotFoundException 是一个常见的异常，它通常发生在应用程序启动或运行时。这个异常的出现告诉我们，Java 虚拟机无法找到...
Mybatis报错: org.apache.ibatis.exceptions.PersistenceException解决办法
09-09
在使用Mybatis框架时，你可能会遇到`org.apache.ibatis.exceptions.PersistenceException`这样的异常。这个异常通常表示在执行数据库查询操作时遇到了问题。本篇将详细分析这个问题并提供解决方法。 ### 问题概述 ...
真实工作项目Java使用apache.poi生成word
欢迎你的到来，我们一起加油！！！
07-10 283
真实工作项目Java使用apache.poi生成word
如何在抖音小程序上展示VR全景？
www720yun的博客
07-09 533
总体来说，在720云平台提交对应小程序信息后，您将获得720云业务域名，将此业务域名配置到抖音小程序后台，即完成校验，详细步骤查看下文。如您在720云平台获得的业务域名是：https://3cam709t4v6.720yun.com ，在此处粘贴保存即可。注意：以上举例是1.0作品，链接中段是/t/，工具2.0链接中段是/vr/，修改链接只添加前缀，/t/或/vr/保持不变。您需要展示的全景作品链接（工具1.0）是 https://720yun.com/t/3e9jvgwvsy7。
Apache网页优化（企业网站结构部署与优化）
2401_85084312的博客
07-11 1016
本章结构一、Apache网页优化在使用 Apache 作为 Web 服务器的过程中，只有对 Apache 服务器进行适当的优化配置，才能让 Apache 发挥出更好的性能。反过来说，如果 Apache 的配置非常糟糕，Apache可能无法正常为我们服务。因此，针对各种企业应用需求对 Apache 服务器的配置进行一定的优化是必不可少的。网页优化概述gzip 介绍HTTP 压缩的过程Apache 的压缩模块Apache 的压缩模块启用网页压缩功能步骤。
Apache AGE 聚合函数
oscube的博客
07-13 662
一般来说，聚合函数 aggr(expr) 会处理每个聚合键在传入记录中找到的所有匹配行（键使用等价性进行比较）。在常规聚合（即形式为 aggr(expr) 的情况下），聚合值列表是候选值列表，其中所有空值都被移除。初始数据。
Apache中使用SSI设置
lgq1368853532的博客
07-09 381
搜索Options Indexes FollowSymLinks改为: Options Indexes FollowSymLinks INCLUDES IncludesNOEXEC。LoadModule ssl_module modules/mod_ssl.so 取消该命令前的注释符#先停服务在修改httpd.conf，备份下。设置httpd.conf。取消该命令前的注释符#
使用Apache服务部署静态网站
小李学不完的博客
07-12 797
目录：网站服务程序​二、配置服务文件参数​三、SELinux安全子系统四、个人用户主页功能​五、虚拟网站主机功能六、Apache的访问控制致谢Web网络服务是一种被动访问的服务程序，即只有接收到互联网中其他主机发出的请求后才会响应，最终用于提供服务程序的Web服务器会通过HTTP（超文本传输协议）或HTTPS（安全超文本传输协议）把请求的内容传送给客户。目前能够提供Web网络服务的程序有IIS、Nginx和Apache等、IIS（Internet Information Sevices，互联网信息服务）是
护网HW面试—apache&iis&nginx中间件解析漏洞篇
最新发布
qq_63855540的博客
07-13 753
当访问www.xxx.com/phpinfo.jpg/1.php这个链接时，$fastcgi_script_name会被设置为"phpinfo.jpg/1.php"，然后构造SCRIPT_FILENAME传递给PHP CGI，但是PHP为什么会接受这样的参数，并且将phpinfo.jpg作为PHP文件解析呢？IIS7/7.5在Fast-CGI运行模式下,在一个文件路径(/xx.jpg)后面加上/xx.php会将/xx.jpg/xx.php 解析为 php 文件（url访问路径）。原理：服务器默认不解析;
Apache配置与应用（优化apache）
m0_75135871的博客
07-09 916
例如，执行以下操作可以新建数据文件/usr/local/httpd/conf/.awspwd，其中包含一个名 为 webadmin 的用户信息。文件所在位置 /usr/local/httpd/conf/extra/httpd-default.conf(主要更改30行左右的)Require [not] ip ：允许或拒绝指定 IP 地址网络访问。主配置文件（/usr/local/httpd/conf/httpd.conf）取消注释，上述的链接保持配置才可生效。
apache:the requested operation has failed使用httpd -t
lgq1368853532的博客
07-09 274
因为我重新压缩了，记住，重新压缩要使用原路径，因为你安装的 时候使用的是原路径。
深入探索Apache Flink：流处理的艺术与实践
weixin_53840353的博客
07-10 1017
Apache Flink是一个分布式处理引擎，支持批处理和流处理。它提供了DataStream API和DataSet API，分别用于处理无界和有界数据集。Flink的核心优势在于其能够以事件时间（event-time）处理数据，确保即使在乱序或延迟数据的情况下，也能得到准确的结果。本文详细介绍了如何使用Apache Flink进行流处理，并通过多个代码示例展示了Flink的基本用法和高级特性。
Apache Doris + Apache Hudi 快速搭建指南｜Lakehouse 使用手册（一）
SelectDB
07-11 459
技术团队导读：湖仓一体（Data Lakehouse）融合了数据仓库的高性能、实时性以及数据湖的低成本、灵活性等优势，帮助用户更加便捷地满足各种数据处理分析的需求。在过去多个版本中，Apache Doris 持续加深与数据湖的融合，已演进出一套成熟的湖仓一体解决方案。
ERROR [ForkJoinPool.commonPool-worker-6][] com.xyjtech.yjjk.cdm.visit.center.emp.impl.CdmVisitEmpCenter - HOUR_OF_DAY: 0 -> 1 org.springframework.dao.TransientDataAccessResourceException: Error attempting to get column 'BIRTHDAY' from result set. Cause: java.sql.SQLException: HOUR_OF_DAY: 0 -> 1 ; HOUR_OF_DAY: 0 -> 1; nested exception is java.sql.SQLException: HOUR_OF_DAY: 0 -> 1
06-07
这是一个数据库访问异常。根据异常信息，可以看出是从结果集中获取'BIRTHDAY'列时出现了错误。具体原因是在执行SQL查询时，JDBC驱动程序试图将0转换为1，但转换失败了。 这个问题可能有多种原因，其中一种可能是数据库中的数据类型与Java中的数据类型不匹配。例如，数据库中的'BIRTHDAY'列定义为日期类型，但Java代码中将其解析为了字符串类型，导致转换失败。 另一个可能的原因是数据库本身出现了问题。例如，数据库连接池中的连接可能已经关闭，或者数据库服务器出现了故障。 为了解决这个问题，可以尝试以下几个步骤： 1. 检查数据库中'BIRTHDAY'列的数据类型是否与Java代码中的数据类型匹配。 2. 检查数据库连接池是否正确配置，并确保连接池中的连接没有被关闭。 3. 检查数据库服务器是否正常工作，并尝试重新启动数据库服务器。 4. 在代码中添加更详细的日志输出，以便更好地定位问题的根本原因。 如果仍然无法解决问题，可以考虑联系数据库管理员或开发团队进行进一步调试和排除故障。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值