用户画像实时标签数据处理流程图

背景

在用户画像中，有一类实时标签，我们既要它能够实时的对外提供数据统计，也要保存到大数据组件中用于后续的对数，圈选的逻辑，本文就看一下用户画像的实时标签的数据流转图

实时标签数据流转图

首先我们肯定是要使用flink消费用户明细数据来生成实时标签，然后把实时标签写入到redis中，这样外部接口就可以通过redis的值获取到标签值，此外，我们也要把这些用户明细数据存储到大数据组件中，包括clickhouse 和 hive，由于保存到hive或者clickhouse中时批量数据操作才能提供比较好的插入性能，所以我们需要使用flink对数据进行分窗处理，把数据先分批，然后再插入到clickhouse和hive中，插入到hive中可以通过hive jdbc或者先上传到hdfs，然后使用load data的方式，以下是详细的流程示意图