Logstash+Kafka网络通道之消息编解码

Kuzury

于 2017-01-12 09:51:59 发布

阅读量2.5k

点赞数

分类专栏： DevOps APM 文章标签： Encode logstash kafka

本文链接：https://blog.csdn.net/u010039929/article/details/54375229

版权

本文探讨了在Logstash中使用UDP作为输入，通过BASE64编码处理数据，以适应最大UDP包限制。在数据经Kafka传递后，通过Base64解码，将数据写入HBase数据库的过程。在编码阶段需要注意 BASE64可能导致的字节流增长，可能需要对长字节流进行拆分处理。

摘要由CSDN通过智能技术生成

一、编码Encode

数据在入logstash之前，以UDP为例，注意UDP序列化后byte[]大小为固定的65507，需要取出真实数据字段进行BASE64，这里有个隐藏问题是BASE64会使数组长度变化为原来的4/3，所以太长的byte流可能就会超限无法发送，需要重新拆分，不过我们这里没这个问题。

final TBase dto = (TBase) message;
final byte[] internalBufferData = serialize(this.serializer, dto);
 final int internalBufferSize = this.serializer.getInterBufferSize();
 byte[] bufferData = new byte [internalBufferSize];
System.arraycopy(internalBufferData, 0, bufferData, 0, internalB