本文探讨了在大数据背景下构建实时用户画像系统面临的挑战，包括大数据处理、实时性需求以及数据仓库的设计。提到了Hadoop、Storm、Kafka、Flink、Druid等技术在实时计算和数据仓库中的作用，并提出了依赖Hive、Druid、Kafka和Flink的系统架构设计，同时强调了需求明确和标签体系的重要性。
在《什么的是用户画像》一文中，我们已经知道用户画像对于企业的巨大意义，当然也有着非常大实时难度。那么在用户画像的系统架构中都有哪些难度和重点要考虑的问题呢？
挑战
- 大数据
- 随着互联网的崛起和智能手机的兴起，以及物联网带来的各种可穿戴设备，我们能获取的每一个用户的数据量是非常巨大的，而用户量本身更是巨大的，我们面临的是TB级，PB级的数据，所以我们必须要一套可以支撑大数据量的高可用性，高扩展性的系统架构来支撑用户画像分析的实现。毫无疑问，大数据时代的到来让这一切都成为可能，近年来，以Hadoop为代表的大数据技术如雨后春笋般迅速发展，每隔一段时间都会有一项新的技术诞生，不断驱动的业务向前，这让我们对于用户画像的简单统计，复杂分析，机器学习都成为可能。所以整体用户画像体系必须建立在大数据架构之上。
- 实时性
- 在Hadoop崛起初期，大部分的计算都是通过批处理完成的，也就是T+1的处理模式，要等一天才能知道前一天的结果。但是在用户画像领域，我们越来越需要实时性的考虑，我们需要在第一时间就得到各种维度的结果，
最低0.47元/天 解锁文章
扫一扫
1032
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
