Error reading field 'throttle_time_ms': java.nio.BufferUnderflowException

最新推荐文章于 2024-06-24 22:57:36 发布
最新推荐文章于 2024-06-24 22:57:36 发布
阅读量1.2k 收藏
点赞数
分类专栏： kafka 文章标签： kafka flume 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/guangyuj/article/details/80918683
版权

flume往Kafka里写数据报错：

04 Jul 2018 20:43:44,401 ERROR [kafka-producer-network-thread | producer-1] (org.apache.kafka.clients.producer.internals.Sender.run:130)  - Uncaught error in kafka producer I/O thread: 
org.apache.kafka.common.protocol.types.SchemaException: Error reading field 'throttle_time_ms': java.nio.BufferUnderflowException
	at org.apache.kafka.common.protocol.types.Schema.read(Schema.java:71)
	at org.apache.kafka.clients.NetworkClient.handleCompletedReceives(NetworkClient.java:439)
	at org.apache.kafka.clients.NetworkClient.poll(NetworkClient.java:265)
	at org.apache.kafka.clients.producer.internals.Sender.run(Sender.java:216)
	at org.apache.kafka.clients.producer.internals.Sender.run(Sender.java:128)
	at java.lang.Thread.run(Thread.java:748)

是由于flume版本为1.7，kafka版本较老为0.8，不兼容所致，将kafka版本升级为0.11或flume版本使用1.6解决！

注：flume1.6及以前的版本没有TAILDIR(org.apache.flume.source.taildir.TaildirSource)这个source type，这个类型支持目录变化的文件，断点续传，1.6版本想要使用这个功能需要将1.7版中Taildir Source 组件源码编译打包后，放入 Flume1.6 安装目录的 lib 文件目录下。

在 Flume配置文件中指定全类名即可使用 TaildirSource 组件。

a1.sources.r1.type = com.xxx.flume.source.TaildirSource
guangyuj
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
java.nio.BufferUnderflowException 分析
abc123maxiaolong的专栏
04-28 2995
  在写一个简单的Buffer的小例子的时候，抛出一个异常： Exception in thread "main" java.nio.BufferUnderflowException at java.nio.Buffer.nextGetIndex(Buffer.java:498) at java.nio.HeapByteBuffer.getChar(HeapByteBuffer.ja...
underscore_note:underscore.js原始代码阅读学习笔记
03-23
2. **函数式编程模式**：underscore.js还引入了一些常见的函数式编程模式，如curry、partial、debounce和throttle等。这些模式可以优化函数调用，提高性能或者避免不必要的计算。例如，`_.debounce`用于创建一个函数...
Flume和Kafka集成错误:Error reading field 'throttle_time_ms'
小蚯蚓的博客
09-15 767
Flume和Kafka集成错误 1.问题描述： flume向kafka写入数据的时候报错： 2018-09-15 00:10:08,502 (kafka-producer-network-thread | producer-1) [ERROR - org.apache.kafka.clients.producer.internals.Sender.run(Sender.java:130)]...
Java中如何优雅地处理BufferUnderflowException异常？
最新发布
微赚开发者技术分享博客
06-24 528
在处理Java中的异常时，最重要的是要对缓冲区的状态进行有效管理，以确保在读取数据时不会超出缓冲区的容量。通过检查剩余数据、设置正确的读取位置和使用合适的读取方法，可以有效地预防和处理这种异常，保障程序的稳定性和可靠性。
kafka问题: Error reading field 'topics'
u010050904的专栏
02-23 9520
kafka调用的时候出现：org.apache.kafka.common.protocol.types.SchemaException: Error reading field ‘topics’出现这种情况 ，很有可能是 client版本和sever版本不一样
Kafka Error reading field ‘topic_metadata’: Error reading array of size 1702065152, only 29 bytes解决
Blossom
11-08 2845
错误信息 [ERROR] 2018-11-07 20:20:01,378 method:org.apache.kafka.clients.producer.internals.Sender.run(Sender.java:137) Uncaught error in kafka producer I/O thread: org.apache.kafka.common.protocol.typ...
jQuery仿手机app社交软件聊天特效.rar_jquery 手机特效_site:en.pudn.com_手机APP
09-21
7. **性能优化**：为了保证在移动设备上的流畅运行，该特效可能采用了延迟加载、节流（throttle）和防抖（debounce）等技巧，减少不必要的计算和DOM操作，提升页面性能。 8. **可定制化**：该特效库通常提供一定的...
demo1401_ThrottlePWMControl2.zip_MBD_Throttle _electronic contro
07-15
电子节气门的控制程序，MBD模式，可仿真和生成代码，具备很好的参考价值。
throttlestop_8.74.7z
12-23
标题中的“throttlestop_8.74.7z”指的是ThrottleStop软件的8.74版本，它被封装在一个7z格式的压缩包中。ThrottleStop是一款专为笔记本电脑设计的实用工具，其主要功能是帮助用户解除处理器的性能限制，从而提升设备...
位置式pid.rar_PID 节气门_Throttle _节气门_节气门 PID_节气门simulink
07-13
在汽车控制系统中，节气门（Throttle）是调节发动机进气量的关键部件，而PID（比例-积分-微分）控制器则是实现精确控制的重要工具。这篇文档资料和Simulink模型着重探讨了如何利用PID算法对节气门进行位置控制。 ...
NIO源码系列之Buffer
王伟王胖胖的博客
01-21 478
NIO与Netty源码系列一Buffer基本属性基本方法positionlimitmarkresetclearflipremaininghasRemaining子类IntBufferallocateputgetwrap(int[] array)wrap(int[] array, int offset, int length)get(int i)get(int[] dst, int offset, ...
Kafka request.log中RequestQueueTimeMs、LocalTimeMs、RemoteTimeMs、ThrottleTimeMs、含义
weixin_43180484的博客
07-10 1254
要理解各个延时项的含义，必须从Kafka收到TCP请求、处理请求到返回TCP包整个流程开始梳理。
NIO java.nio.BufferOverflowException: null
2301_79008175的博客
07-22 675
NIO 字符串写入文件异常java.nio.BufferOverflowException处理
mybatis操作mariadb驱动的mysql批量插入报错java.nio.BufferOverflowException: null
mathyrs的博客
10-13 3352
mybatis操作mariadb驱动的mysql批量插入报错java.nio.BufferOverflowException: null业务中需要定期向数据库中写入统计数据，数据量比较大。在往数据库中写入时有时会报缓冲区溢出异常。最后的异常栈如下： Caused by: java.nio.BufferOverflowException: null at java.nio.HeapB
kafka协议
耿小渣的进阶之路
11-28 5373
一、简介 Kafka 是一个高吞吐量、分布式的发布—订阅消息系统。据Kafka 官方网站介绍，当前的Kafka 已经定位为一个分布式流式处理平台（a distributed streaming platform），它最初由LinkedIn公司开发，后来成为Apache 项目的一部分。Kafka 核心模块使用Scala 语言开发，支持多语言（如Java、C/C++、Python、Go、Erlang...
java.nio.BufferOverflowException异常出现原因及解决方法
热门推荐
lunizhu的专栏
07-23 1万+
使用Eclipse开发一个java项目，出现java.nio.BufferOverflowException的报错，当时在网上看到该方法解决办法有 1.在eclipse里面，project->Generate   javadoc菜单，在第三个对话框的Extra   Javadoc   options文本框里面加上   -encoding   UTF-8   参数之后，此现象就消失了
java.nio.BufferUnderflowException问题
weixin_37805972的博客
03-07 7989
调用ByteBuffer中的含参get()方法会报这个错误 解决方法是确保bytebuffer中剩余数据的字节数与字节数组大小相同 按照如下方式定义字节数组： byte[] byteArray = new byte[bb.remaining()]; 再作为参数传入get就OK了 而无参的get方法一次返回一个字节，然后position递增1 ...
给下列程序添加英文注释：bool MoveBase::getRobotPose(geometry_msgs::PoseStamped& global_pose, costmap_2d::Costmap2DROS* costmap) { tf2::toMsg(tf2::Transform::getIdentity(), global_pose.pose); geometry_msgs::PoseStamped robot_pose; tf2::toMsg(tf2::Transform::getIdentity(), robot_pose.pose); robot_pose.header.frame_id = robot_base_frame_; robot_pose.header.stamp = ros::Time(); // latest available ros::Time current_time = ros::Time::now(); // save time for checking tf delay later // get robot pose on the given costmap frame try { tf_.transform(robot_pose, global_pose, costmap->getGlobalFrameID()); } catch (tf2::LookupException& ex) { ROS_ERROR_THROTTLE(1.0, "No Transform available Error looking up robot pose: %s\n", ex.what()); return false; } catch (tf2::ConnectivityException& ex) { ROS_ERROR_THROTTLE(1.0, "Connectivity Error looking up robot pose: %s\n", ex.what()); return false; } catch (tf2::ExtrapolationException& ex) { ROS_ERROR_THROTTLE(1.0, "Extrapolation Error looking up robot pose: %s\n", ex.what()); return false; } // check if global_pose time stamp is within costmap transform tolerance if (current_time.toSec() - global_pose.header.stamp.toSec() > costmap->getTransformTolerance()) { ROS_WARN_THROTTLE(1.0, "Transform timeout for %s. " \ "Current time: %.4f, pose stamp: %.4f, tolerance: %.4f", costmap->getName().c_str(), current_time.toSec(), global_pose.header.stamp.toSec(), costmap->getTransformTolerance()); return false; } return true; }
06-12
// Function to get the robot pose in the given costmap frame bool MoveBase::getRobotPose(geometry_msgs::PoseStamped& global_pose, costmap_2d::Costmap2DROS* costmap) { // Set the global pose to the identity transform tf2::toMsg(tf2::Transform::getIdentity(), global_pose.pose); // Create a new pose for the robot and set it to the identity transform geometry_msgs::PoseStamped robot_pose; tf2::toMsg(tf2::Transform::getIdentity(), robot_pose.pose); // Set the frame ID for the robot pose to the robot base frame robot_pose.header.frame_id = robot_base_frame_; // Set the time stamp for the robot pose to the latest available time robot_pose.header.stamp = ros::Time(); // latest available // Save the current time for checking the tf delay later ros::Time current_time = ros::Time::now(); // save time for checking tf delay later // Get the robot pose on the given costmap frame try { tf_.transform(robot_pose, global_pose, costmap->getGlobalFrameID()); } catch (tf2::LookupException& ex) { // If the transform lookup fails, print an error message and return false ROS_ERROR_THROTTLE(1.0, "No Transform available Error looking up robot pose: %s\n", ex.what()); return false; } catch (tf2::ConnectivityException& ex) { // If there is a connectivity error, print an error message and return false ROS_ERROR_THROTTLE(1.0, "Connectivity Error looking up robot pose: %s\n", ex.what()); return false; } catch (tf2::ExtrapolationException& ex) { // If there is an extrapolation error, print an error message and return false ROS_ERROR_THROTTLE(1.0, "Extrapolation Error looking up robot pose: %s\n", ex.what()); return false; } // Check if the time stamp of the global pose is within the costmap transform tolerance if (current_time.toSec() - global_pose.header.stamp.toSec() > costmap->getTransformTolerance()) { // If the time stamp is outside the tolerance, print a warning and return false ROS_WARN_THROTTLE(1.0, "Transform timeout for %s. " \ "Current time: %.4f, pose stamp: %.4f, tolerance: %.4f", costmap->getName().c_str(), current_time.toSec(), global_pose.header.stamp.toSec(), costmap->getTransformTolerance()); return false; } // Return true if the robot pose was successfully retrieved return true; }
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值