主要通过一个数据序列化与反序列化的案例来介绍Streamsets(3.20.0 汉化版)的使用,因为大数据加工与处理的时候,避免不了数据的序列化与反序列化,这里主要讲一下使用数据序列化插件和反序列化插件实现avro格式数据序列化与反序列化,。当然还是可以序列化其他格式,这里挑一个难的讲一下。
学习目的:学习使用Data Generator 和 Data Parser。
需要配置一个数据流。
序列化效果:
反序列化效果:
1.一些JSON格式的数据:
{"cont":{"disk_total"