需求: 从kafka读取数据,根据内容路由再压缩后,put 到s3 中。
流程图。
1、使用Kakfa 读取数据
2、在RouteTxt 中,根据要求过滤掉不需要的数据
3、在CompressContent 中进行数据压缩后,流入下一个环节。这里配置使数据压缩为gzip 文件。
4、使用MergeContent ,将数据每 128M合并为一个块数据。(注意:虽然MergeContent提供压缩,但是压缩后的文件无法提供给Spak 使用,所以使用CompressContent )
5、使用PutS3Object 组件向S3 写数据