几种流式数据处理方法的优缺点到TLV格式的演变


通常需要处理类似字节流的流式数据,那么会面临一个问题就是当数据流源源不断的传输,如何知道数据流中从哪个点开始到那个点结束是一个完整的数据呢?

定长记录

定义每个记录的固定长度。读方读取到了固定的长度之后,即认为获得了完整数据,每读取固定长度之后,就认定为获取了完整数据。
在这里插入图片描述

缺点:固定长度必须取最大数据大小,如果其中多数的数据比较的小,那么会造成空间浪费。

变长记录+分隔符

记录长度不固定,定义一个符号作为记录的分隔符,并在每个记录中间插入该符号来界定记录边界。
在这里插入图片描述

缺点:当记录的数据本身出现分隔符,那么会出现问题,所以一定要指明一个不会用到的分隔符,或者几个字符的组合。

定长长度+变长记录

定义一个固定长度的块来作为记录头,该记录头用来存放后面记录的长度。记录头后始终跟着该块描述的长度的记录;每个记录头的长度都是固定的。
读方读取了记录头获取了记录长度,再读取对应长度的数据获得完整数据。
在这里插入图片描述
优点: 记录长度不定长,节省空间与处理时间。
缺点:只能处理同一种类型的数据,不适合对记录做对应区分。

TLV格式

基于定长长度+边长记录的方式,多加了一个类型字段。这样读方就可以根据不同类型的记录做不同的处理逻辑。
在这里插入图片描述
优点:记录长度动态,节省空间与处理时间;可以针对不同类型的记录做不同的处理。

  • 2
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值