基于hdoop的短视频用户画像研究

基于hadoop的短视频用户画像研究
摘  要
在这个互联网迅速发展的时代，网络和信息技术都跟上了时代的潮流，在互联网中的用户数据也出现了爆炸性的增长。用户的各种日常行为都通过互联网被记录下来，对于所有的互联网企业来说，想要从激烈的竞争中脱颖而出，就需要企业以用户为中心，通过这些庞大的用户行为数据了解用户的真实意图。用户画像是对用户数据化、信息化和标签化的描述，企业可以通过用户画像抽象出用户的商业全貌，从而对每个用户群体进行精细化、个性化的营销。但同时，很多企业都有多个业务系统，而且各个业务系统之间由于信息不全，无法构建统一清晰的用户画像。 
基于以上背景，论文设计一个整合多种业务数据源，建立企业体系化用户标签的高灵活性、高扩展性的用户画像系统。系统覆盖了多种平台渠道和多业务系统的用户源数据采集，实现基于多源数据融合的用户画像的构建。同时，根据Lambda架构的设计思路，系统框架整合了离线计算和实时计算，兼顾了海量数据处理能力和时效性，保障了实时和离线数据的最终一致性。系统前端使用Vue.js框架和ECharts开源图表库技术进行用户画像的可视化展示，后端采用SpringBoot轻量级开源框架，并在Hadoop分布式基础框架上，搭建数据仓库，实现分布式的数据存储、计算和查询。最后，论文还提出了以用户为中心的数据模型—用户事件模型，通过事件和用户两个方面可以详细记录用户，抽象用户行为。并且系统可以使用多维度的分析方法对用户行为进行分析，满足企业各个部门的分析需求。

关键词：用户画像；分布式计算；用户行为分析
Research on Short Video User Portrait Based on Hadoop

ABSTRACT

In this era of rapi