向flume发送消息出现Client sent event exceeding the maximum length

最新推荐文章于 2024-03-21 17:59:48 发布
最新推荐文章于 2024-03-21 17:59:48 发布
阅读量319 收藏 1
点赞数 1
分类专栏： flume
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41379739/article/details/113990050
版权

大数据

向flume发送消息出现 Client sent event exceeding the maximum length

flume source端是监听端口数据，在模拟前端发送数据时候出现这个问题

模拟发送数据时出现的问题，json数据太长，flume默认长度太短

Client sent event exceeding the maximum length

解决办法也很简单，参考官方参数说明，配置max-line-length到适当值即可（默认是512字节），示例：

a1.sources.r1.max-line-length = 102400

 

小刘同学爱study
关注
专栏目录
flume系列之：学会flume开发调试，查看flume event数据格式，并根据flume event数据格式开发拦截器
zhengzaifeidelushang的博客
02-21 1410
flume系列之：学会flume开发调试，查看flume event数据格式，并根据flume event数据格式开发拦截器一、声明source、channel、sink二、配置source三、配置source拦截器四、配置channel五、配置sink六、查看终端输出七、代码实现打印flume event数据格式到日志 根据不同的需求，flume可能需要采用不同类型的source、channel、sink，flume配置采取热部署，配置更新即可生效。在开发flume新功能时，直接使用source、chan
Flume--Event定义及源码解析
weixin_42946624的博客
10-18 3533
Flume基本构成与Event结构 1. Event定义 一行文本内容被反序列化成一个event。event的最大定义为2048字节，超过会被切割放到下一个event中。 public interface Event { /** * Returns a map of name-value pairs describing the data stored in the body. ...
Flume接收消息出现FAILED:Event exceeds the maximum length(512 chars, including newline)
【叫我姜同学】的个人博客
06-11 429
使用Flume的过程中，模拟网络发送数据的时候出现如下问题：如图所示 由于在配置文件中没有配置接收数据的最大长度，而默认是512字符，但我发送的数据字符是远大于512的，所以会出现此问题。解决办法就是在配置文件中增加接收数据最大长度的配置信息，具体如下： 其中，a1, r1, 为配置文件中自定的变量名，记得换成你自己的，10240位容量，可自定义。 如图所示 最后，解决问题。...
1-Flume中agent的source
最新发布
m0_73450879的博客
03-21 1220
/ 自定义代码实现Sequence Generator Source，加深理解 public class AuthDrivenSource extends AbstractSource implements EventDrivenSource , Configurable {// 获取参数值 @Override public void configure(Context context) {
Flume日志长度2048超长问题解决
u013716179的博客
09-29 2697
最近笔者在使用Flume-1.7进行日志收集的时候，遇到了日志长度超出2048限制等一系列问题，经过一天的排查终于将问题解决，在此将问题记录下来，并提供了修改后的flume-ng-core-1.7.0下载包，供后来的同学参考 ** 问题描述 首先，笔者发现问题是由于发现近期日志总量变少，去排查了Flume的运行日志，发现原因是大量的日志被拦截器干掉了(此处笔者使用了自定义拦截器，对于日志...
Flume安装及简单部署
csdn1027192414的博客
03-25 210
环境： 1.flume-ng-1.6.0-cdh5.7.0.tar.gz 2.jdk 1.8 1.下载安装包并解压 wget http://archive.cloudera.com/c...
第四章、flume源码解析之核心类（source）
风中云彩的博客
07-27 636
flume的核心类分别为Source、Channel、Sink，下面结合源码进行分析 1、Source source的源码： `** * * A source generates {@plainlink Event events} and calls methods on the * configured {@link ChannelProcessor} to persist th
flume-avro-java-client:一个简单的java客户端将avro事件发送到flume代理
06-25
标题中的“flume-avro-java-client”是一个用于与Apache Flume交互的Java客户端库，主要功能是将Avro格式的事件数据发送到Flume代理。Avro是Apache Hadoop项目的一部分，它提供了一种高效的、面向列的数据序列化机制...
python通过thrift实现向flume发送数据
小麒麟的成长之路
09-08 2579
Apahce Thrift是FaceBook实现的一种高效的、支持多种语言的远程服务调用的框架。Source是负责接收数据到Flume Agent的组件，可以从其他系统中接收数据。Flume有Java Thrift RPC客户端，是FLume SDK的一部分，Thrift Source是多线程，高性能的Thrift服务器，Flume的Thrift接口定义（IDL）语言如下： namespac
Windows上搭建Flume运行环境
weixin_34104341的博客
03-02 114
1.如果没有安装过Java环境，则需首先安装JDK。 可参考《Windows上搭建Kafka运行环境》中的搭建环境安装JDK部分 2.官方下载Flume（当前为apache-flume-1.8.0-bin.tar.gz） 官方下载地址 官方用户手册 3.根据官方用户手册，创建一个简单例子监听44444端口的输入并在console中输出。 ①进入apache-flume-1....
解决PD 中的 maximum length 错误
老尹的笔记
08-25 2348
使用PD12设计数据库时遇到的问题，总是在check model 时报 Table code maximum length. Column code maximum length.此时，通过database / edit current dbms / General / Script / Objects / MaxConstLen ,修改数值为60，同时，把 Script /
大数据新手之路二：安装Flume
weixin_33842304的博客
03-05 74
Ubuntu16.04+Flume1.8.0 1.下载apache-flume-1.8.0-bin.tar.gz http://flume.apache.org/download.html 2.解压到/usr/local/flume中 3.设置配置文件/etc/profile文件，增加flume的路径 ①vi /etc/profile export FLUME_H...
Flume原理初探：基本执行原理概述
qq_33339479的博客
03-16 654
Flume Flume是一款在数据收集领域使用较多的一个apache的开源工具，是一款分布式、可靠和高可用的系统，能够高效的从不同的源中收集、聚合上传大量的日志数据到结构化的存储模块中，Flume的使用不仅限于日志数据聚合， 由于数据源是可定制的，因此Flume可用于传输大量事件数据，包括但不限于网络流量数据，社交媒体生成的数据，电子邮件消息以及几乎所有可能的数据源。在实际的应用场景中Flume再...
terminal server has exceeded max number of allowed connections(如何避免出现“终端服务器超出了最大允许连接数”)...
weixin_34226706的博客
01-08 444
如何避免出现“终端服务器超出了最大允许连接数” 使用远程桌面链接登录到终端服务器时经常会遇到“终端服务器超出最大允许链接数”诸如此类错误导致无法正常登录终端服务器，引起该问题的原因在于终端服务的缺省链接数为2个链接，并且当登录远程桌面后如果不是采用注销方式退出，而是直接关闭远程桌面窗口，那么实际上会话并没有释放掉，而是继续保留在服务器端，这样就会占用总的链接数，当这个数量达到最大允许值时就会出现...
log event entry exceeded max_allowed_packet； Increase max_allowed_packet on master
娜然的专栏
09-01 3259
mysql从库io进程停止，发错如下： Got fatal error 1236 from master when reading data from binary log: 'log event entry exceeded max_allowed_packet; Increase max_allowed_packet on master; the first event 'xxxx-master-binlog.000504' at 4212238517, the last event read fro
最全Flume常用配置文件详情解析
weixin_45417821的博客
08-19 5829
Flume的常用配置项1、Source配置项(常见配置项)1.1 Avro Source1.2 NetCat Source1.3 Exec Source1.4 Spooling Directory Source1.5 Taildir Source1.6 Thrift Source1.7 Kafka Source1.8 Sequence Generator Source1.9 HTTP Source2、Channels 配置项 （常见配置项）2.1 Memory Channel2.2 JDBC Channel
Maximum Allowed Error 7 错误解决
电力行业解决方案 电力系统砖家 电动汽车砖家
03-10 2025
这段时间，一直在做WINCE 的应用，后来将NK做大后，必须修改EBOOT，以便能够提供较大的空间来使用，所以修改了confg.bib,image_cfg.inc,image_cfg.h将需要NK的地方都修改大了，可是又一个地方没有修改，就是EBOOT.bib,在这种情况下，EBOOT可以正常将NK烧写进去，也可以开机进入WINCE的界面。但是只要一执行任务，即便是点击桌面上的任何一个东西，或者用触摸笔点击界面，就出现如下的问题：LayMgr.cpp: Layout Manager successfully
.NET上传大文件时提示Maximum request length exceeded错误的解决方法
热门推荐
pan_junbiao的博客
06-16 1万+
使用IIS托管应用程序时，当我们需要上传大文件（4MB以上）时，应用程序会提示Maximum request length exceeded的错误信息。该错误信息的翻译：超过最大请求长度。 解决方法： 使用IIS来托管应用程序，默认的上传文件大小为4MB。我们需要增加请求大小，在项目的Web.config配置文件中添加以下配置项信息： <configuration> &...
用Java代码向flume 监听的netcat端口发送的代码示例
03-10
你好，以下是Java代码向flume监听的netcat端口发送的示例： ```java import java.io.OutputStream; import java.net.Socket; public class FlumeNetcatSender { public static void main(String[] args) throws ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值