向flume发送消息出现Client sent event exceeding the maximum length

最新推荐文章于 2022-06-25 09:16:15 发布
最新推荐文章于 2022-06-25 09:16:15 发布
阅读量274 收藏 1
点赞数 1
分类专栏： flume 文章标签： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41379739/article/details/113990050
版权

向flume发送消息出现 Client sent event exceeding the maximum length

flume source端是监听端口数据，在模拟前端发送数据时候出现这个问题

模拟发送数据时出现的问题，json数据太长，flume默认长度太短

Client sent event exceeding the maximum length

解决办法也很简单，参考官方参数说明，配置max-line-length到适当值即可（默认是512字节），示例：

a1.sources.r1.max-line-length = 102400

 

小刘同学爱study
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
关于Flume的优化和高可用
01-20
文章目录Flume优化一、内存参数优化（减少GC）1）-xmx和-xms设置相同值，避免在 GC 后调整堆大小带来的压力。2）JVM heap（堆内存）设置4G或更高二、channel优化Flume如何保证数据安全（高可用）事务机制Flume解决数据重复负载均衡知道 Flume 的 Channel 是啥吗介绍一下 Memory Channel说说 File Channel说说 Kafka Channel介绍一下 Kafka 几种 Sink知道 Flume 的拦截器吗介绍一下什么是选择器了解 Flume 的负载均衡和故障转移吗 Flume优化 一、内存参数优化（减少GC） 解决办法： 1）-xm
Flume安装及简单部署
csdn1027192414的博客
03-25 194
环境： 1.flume-ng-1.6.0-cdh5.7.0.tar.gz 2.jdk 1.8 1.下载安装包并解压 wget http://archive.cloudera.com/c...
大数据框架思维导图整理
专注Java（全栈）应用开发，求知若渴，虚心若愚，而知也无涯
08-08 1078
bigdata 采集层 flume 采集 flume 源码分析 存储层 存储层hbase 使用 存储层hbase 源码分析 分析层 智能算法 报表BI ---------------------------------------------------- flume 采集： Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。Flume可以采集文件，socke...
connect to address IP: No route to host
热门推荐
06-25 6万+
There is no nutrition in the blog content. After reading it, you will not only suffer from malnutrition, but also impotence.
greenplum 服务器参数详细信息
知识的力量
01-25 4140
SQL命令SHOW允许您查看当前服务器配置参数设置。例如，可查看所有参数的设置： $ psql -c 'SHOW ALL;'   name setting description add_missing_from off Automatically adds missing table references to FROM clauses. applicati...
Windows上搭建Flume运行环境
weixin_34104341的博客
03-02 110
1.如果没有安装过Java环境，则需首先安装JDK。 可参考《Windows上搭建Kafka运行环境》中的搭建环境安装JDK部分 2.官方下载Flume（当前为apache-flume-1.8.0-bin.tar.gz） 官方下载地址 官方用户手册 3.根据官方用户手册，创建一个简单例子监听44444端口的输入并在console中输出。 ①进入apache-flume-1....
第四章、flume源码解析之核心类（source）
风中云彩的博客
07-27 599
flume的核心类分别为Source、Channel、Sink，下面结合源码进行分析 1、Source source的源码： `** * * A source generates {@plainlink Event events} and calls methods on the * configured {@link ChannelProcessor} to persist th
解决PD 中的 maximum length 错误
老尹的笔记
08-25 2286
使用PD12设计数据库时遇到的问题，总是在check model 时报 Table code maximum length. Column code maximum length.此时，通过database / edit current dbms / General / Script / Objects / MaxConstLen ,修改数值为60，同时，把 Script /
大数据新手之路二：安装Flume
weixin_33842304的博客
03-05 68
Ubuntu16.04+Flume1.8.0 1.下载apache-flume-1.8.0-bin.tar.gz http://flume.apache.org/download.html 2.解压到/usr/local/flume中 3.设置配置文件/etc/profile文件，增加flume的路径 ①vi /etc/profile export FLUME_H...
Flume原理初探：基本执行原理概述
qq_33339479的博客
03-16 634
Flume Flume是一款在数据收集领域使用较多的一个apache的开源工具，是一款分布式、可靠和高可用的系统，能够高效的从不同的源中收集、聚合上传大量的日志数据到结构化的存储模块中，Flume的使用不仅限于日志数据聚合， 由于数据源是可定制的，因此Flume可用于传输大量事件数据，包括但不限于网络流量数据，社交媒体生成的数据，电子邮件消息以及几乎所有可能的数据源。在实际的应用场景中Flume再...
Flume使用详解（一）
01-07
所以目前是Apache下的项目，Flume支持在日志系统中定制各类数据发送方，用于收集数据。 Flume是一个高可用的，高可靠的鲁棒性（robust 健壮性），分布式的海量日志采集、聚合和传输的系统， Flume支持在日志系统中...
【Flume】（二）Flume 定义和基础架构
01-20
文章目录一、Flume 定义二、Flume 基础架构 一、Flume 定义 Flume 是 Cloudera 提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume 基于流式架构，灵活简单。 为什么选用 Flume ? 二、...
Flume使用详解（二）
01-07
flume可以支持多级flume的agent，即flume可以前后相继形成多级的复杂流动，例如sink可以将数据写到下一个agent的source中，这样的话就可以连成串了，可以整体处理了。 置多个agent的数据流（多级流动） 数据流合并...
symbian error code 所有错误代码
05-19 2万+
KErrNone0 KErrNotFound-1Unable to find the specified objectKErrGeneral-2General (unspecified) errorKErrCancel-3The operation was cancelledKErrNoMe
freesshd:the specified address is already in use
苏苏爱自由
03-05 1万+
出现这个错误是我们在安装的时候让ssh服务随着sshd的开启而启动。 关闭就好了。 找到SSH,取消勾选，然后重启即可。
Flume接收消息出现FAILED:Event exceeds the maximum length(512 chars, including newline)
【叫我姜同学】的个人博客
06-11 394
使用Flume的过程中，模拟网络发送数据的时候出现如下问题：如图所示 由于在配置文件中没有配置接收数据的最大长度，而默认是512字符，但我发送的数据字符是远大于512的，所以会出现此问题。解决办法就是在配置文件中增加接收数据最大长度的配置信息，具体如下： 其中，a1, r1, 为配置文件中自定的变量名，记得换成你自己的，10240位容量，可自定义。 如图所示 最后，解决问题。...
Maximum Allowed Error 7 错误解决
电力行业解决方案 电力系统砖家 电动汽车砖家
03-10 2001
这段时间，一直在做WINCE 的应用，后来将NK做大后，必须修改EBOOT，以便能够提供较大的空间来使用，所以修改了confg.bib,image_cfg.inc,image_cfg.h将需要NK的地方都修改大了，可是又一个地方没有修改，就是EBOOT.bib,在这种情况下，EBOOT可以正常将NK烧写进去，也可以开机进入WINCE的界面。但是只要一执行任务，即便是点击桌面上的任何一个东西，或者用触摸笔点击界面，就出现如下的问题：LayMgr.cpp: Layout Manager successfully
Flume NG 学习笔记（九）Flune Client 开发
顾晓艳的专栏
10-30 8606
文章内容还是来自官网http://flume.apache.org/FlumeDeveloperGuide.html 由于在实际工作中，数据的生产方式极具多样性，Flume 虽然包含了一些内置的机制来采集数据，但是更多的时候用户更希望能将应用程序和flume直接相通。所以这边运行用户开发应用程序，通过IPC或者RPC连接flume并往flume发送数据。 一、RPC client interf
用Java代码向flume 监听的netcat端口发送的代码示例
最新发布
03-10
你好，以下是Java代码向flume监听的netcat端口发送的示例： ```java import java.io.OutputStream; import java.net.Socket; public class FlumeNetcatSender { public static void main(String[] args) throws ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值