SmartSi

用户画像实战笔记与大厂案例

当业务标签越来越多时，将不再适合，因为当列越多时，更新效率将会越慢。一种优化方案是通过对标签表构建索引，将用户ID编码后以 Bitmap 格式保存(一般使用进行压缩存储)，将关系运算转化 Bitmap 的交并差运算，进而加速实时计算性能。如果用户 ID 是字符类型，需要先将用户ID进行整数编码才能使用 Bitmap 存储。

当业务标签越来越多时，宽表标签计算的方案将不再适合，因为当列越多时，更新效率将会越慢。一种优化方案是通过对标签表构建索引，将用户ID编码后以 Bitmap 格式保存(一般使用 RoaringBitmap 进行压缩存储)，将关系运算转化 Bitmap 的交并差运算，进而加速实时

如果在线画像分析服务按照这样的数据模型组织标签数据，不可避免的需要 Join 多张标签表来完成多标签的过滤，这对于数据库产品开销太大。我们可以将相对稳定的标签表离线聚合成宽表，将多张表的关联操作转化成对一张表的过滤计算，新的标签列的场景可以通过增加列的方式实现

在快手从 0 到 1 搭建起快手画像平台，也见证了平台在各个业务端应用的过程，基于这些工作经验的总结和沉淀，其编写了《用户画像：平台构建与业务实践》一书，本次分享的内容大部分也包含在本书中。

随着企业数字化转型的深入发展，对用户深层理解的渴望日益迫切。在此背景下，本次分享精心剖析了用户画像标签的精髓及其在多变业务场景中的关键作用。从基础属性标签到策略上的标签，不仅系统性地介绍了各类型标签的构建与应用，还着重强调了在快节奏的数字化时代中，如何通过高效的异常值处理、时间衰减考量及数据区分度提升等手段，确保标签的准确性和实用性。并且深入讨论了如何长期评估和追踪用户画像的内聚性和稳定性，为数据产品经理提供了一把锐利的工具，助力其在激烈的市场竞争中准确把握用户需求，不断提升产品和策略的效能。

用户画像平台是企业应用大数据的根基，精准营销、精细化运营和个性化推荐都离不开用户画像的建设。精准地刻画用户行为、兴趣以及需求尤为重要。本文将探讨算法在 58 用户画像平台建设中的作用，包括画像标签体系的建设，个性化推荐、精细化运营等业务应用。

随着企业数字化转型的深入发展，对用户深层理解的渴望日益迫切。在此背景下，本次分享精心剖析了用户画像标签的精髓及其在多变业务场景中的关键作用。从基础属性标签到策略上的标签，不仅系统性地介绍了各类型标签的构建与应用，还着重强调了在快节奏的数字化时代中，如何通过高效的异常值处理、时间衰减考量及数据区分度提升等手段，确保标签的准确性和实用性。并且深入讨论了如何长期评估和追踪用户画像的内聚性和稳定性，为数据产品经理提供了一把锐利的工具，助力其在激烈的市场竞争中准确把握用户需求，不断提升产品和策略的效能。

今天分享的主题是信贷场景用户画像构建与应用，将结合信贷场景的特殊性，深入讨论如何建立一个服务于整个信贷业务场景的用户画像特征体系。

爱奇艺商业智能部门总监陆祁女士将介绍爱奇艺在用户兴趣分群上的探索和实践，主要介绍如何基于数据科学进行用户兴趣分群，如何基于事实数据生成用户兴趣标签，以及介绍算法验证和迭代的思路，最后介绍如何基于用户聚类的方法去做用户兴趣分群。

我们团队所在的用户运营平台技术团队是一支懂用户，技术驱动的年轻队伍，团队立足体系化打造业界领先的用户增长基础设施，以媒体外投平台、ABTest平台、用户运营平台为代表的基础设施赋能用户增长，日均处理数据量千亿规模、调用QPS千万级。在用户规模达到一定量级的情况下，单一的运营策略对于用户的效果愈发有限，人群分析的能力，因此显得尤为重要，它能帮助我们发现潜在用户、找寻运营时机，为策略调整提供数据支持。

首先介绍标签和标签体系的基本概念。火山引擎VeCDP的标签最终服务于上层的业务场景，例如营销、分析等场景。而标签体系是对标签的一种组织方式，对标签进行分类，形成一套可以长期稳定使用并且适用性较强的框架。

客户数据平台 CDP（Customer Data Platform）已成为精细化运营的标配工具，去哪儿旅行经过多年的建设，广泛应用于各种业务场景中，产生累计亿级别的收益，并且 CDP 项目也获得了公司年度金项奖。本主题先后受邀在CSDI SUMMIT、InfoQ QCon+、DataFun 峰会，以及 Qunar 对外直播大数据系列课中进行了分享。本文结合对外分享内容进行整理，从 CDP 的业务背景、建设实践、总结应用、未来展望四个方面进行介绍精细化运营中 CDP 的业务价值，希望对这方面感兴趣的同学有所启

当前时代，数据分析早已不再满足于传统的 T+1式报表或需要提前设置好维度与指标的 OLAP 查询，而是更希望使用可以支持任意指标、任意维度并秒级给出反馈的大数据实时查询系统。ClickHouse 的出现，满足了绝大数场景下对大数据的实时分析和查询需求。本文主要介绍了 ClickHouse 的基本概念、核心特性，以及基于 ClickHouse 构建用户画像平台的设计方案、实践经验和未来规划。如果你正在使用 ClickHouse，希望本文能够帮助到你。

知乎业务中，随着各业务线业务的发展，逐渐对用户画像和实时数据这两部分的诉求越来越多。对用户画像方面，期望有更快、更准、更方便的人群筛选工具和方便的用户群体分析能力。对于实时数据方面，期望拥有可以实时响应的用户行为流，同时在算法特征、指标统计、业务外显等业务场景有愈来愈多的数据实时化的诉求。在 2021 年 8 月，知乎平台团队成立数据赋能团队。

这篇文章将为大家详细讲解用户标签的6大规范是什么，以及应该如何定义。

本篇主要介绍 58 标签体系建设实践，主要包含痛点及标签建设方案、标签体系、标签管理平台三个模块。

We 分析是小程序官方推出的、面向小程序服务商的数据分析平台，其中画像洞察是一个重要的功模块。该功能将为使用者提供基础的画像标签分析能力，提供自定义的用户分群功能，从而满足更多个性化的分析需求及支撑更多的画像应用场景。在此之前，原有 MP 的画像分析仅有基础画像，相当于只能分析小程序大盘固定周期的基础属性，而无法针对特定人群或自定义人群进行分析及应用。平台头部的使用者均希望平台提供完善的画像分析能力。除最基础的画像属性之外，也为使用者提供更丰富的标签及更灵活的用户分群应用能力。

双 11”到了，假设需要发放 1000 万张家电类优惠券，那我们首先需要根据标签筛选出符合条件的人群，人数大约为 1000 万左右，然后对选择的人群进行画像分析，看是否符合预期的特征。如果人群符合特征，系统将一键生成进行营销的人群包（userid 列表），自动化发布和营销。图 1：业务流程架构图如下：图 4：标签架构ClickHouse Manager 是我们自研的 ClickHouse 管理平台，负责集群管理、元数据管理和节点负载协调。

开发数据应用平台基于数仓的商机表输出的es索引，配置自定义数据圈选规则，并对圈选出的指定商机创建数据应用任务。数据应用任务根据场景配置调用时间窗口等规则定时调用，处理后的数据应用至各个业务场景。

转转作为二手电商交易领域的领军者，随着这几年的高速发展，用户数和业务量都急剧增长，为了更好的服务用户，并持续增长，产品运营的战略战术也会随之发生变化。在创业早期产品一般以粗放式运营为主，力求快速获取用户、推广产品，领跑赛道。业界也曾流传着这样的段子，产品有三宝：弹窗、浮层、加引导；运营有三宝：短信、push、加红包。然而到了中后期公司都会面临的三大问题是降本提效、持续增长、用户体验，所以基于数据的精细化运营成了大家的必然选择

小程序目前使用百度云 Palo（Apache Doris 企业版）承载其精细化运营业务。通过本文可以帮助大家了解在 Doris 中使用全局字典、BITMAP 等功能时遇到的问题、解决思路和优化方案。

基于用户画像进行人群定向是一种广泛的业务场景，在广告、增长等领域有普遍的应用。如何能够高效分析、规则筛选，特别是在超大规模的互联网业务场景，是一个有挑战性的技术问题。在这个分享里面，我们会介绍一种基于Doris来实现海量用户tag下分析与圈选的高性能实现。

37 手游使用 StarRocks 已有半年多，在此期间非常感谢 StarRocks 团队的积极协助，感受到了服务速度和产品速度一样快，辅导我们解决了产品使用上的一些问题。首先介绍下 37 手游的背景。37 手游主要专注于移动端游戏发行和游戏运营，成功发行运营了《斗罗大陆：魂师对决》、《云上城之歌》等游戏。数据是游戏运营的基石，查询效率对业务人员的体验感受非常重要，因此提升查询效率是我们团队一直努力的目标。本次分享主要内容包含：37 手游的数据架构、StarRocks 对数据架构产生的影响，以及 S

知乎基于业务需求搭建了 DMP 平台，本文详细的介绍了 DMP 的工作原理及架构演进过程，同时介绍了 Apache Doris 在 DMP 平台的应用实践，本文对大家了解 DMP 工作方式很有帮助，欢迎阅读。

如何更好的了解用户真实需求，为用户提供差异化的服务，实现用户的精细化运营，提高用户留存和后续转化，这都是DMP要来解决的问题。

在数字化转型的浪潮下，企业越来越重视自身数据资产的沉淀和应用。画像作为一种重要的数据资产形式，受到了越来越多的关注。网易严选作为一家自营电商，业务链路长、场景多，所涉及的核心业务实体也多，如用户、商品、供应商、渠道等等。通过画像去洞察这些业务实体对企业精细化运营有着重要的帮助。基于此背景严选打造了具备行业特色的标签和画像中台。本文的主题为网易严选画像建设实践，主要介绍严选标签和画像中台的工具和方法论。

用户画像是建立在数据基础之上的用户模型，是产品改进、精准营销等业务场景中不可或缺的重要基础。而构建用户画像的过程就是要给用户打上各种维度的标签，并基于标签进行定性或定量分析。这其中，建设灵活、全面、高效的标签体系是工作的重中之重。本文就从标签体系建设的需求出发，阐述神策数据在设计标签生产引擎过程中所做的思考和实践

本次分享中，介绍了 ClickHouse 在字节跳动广告业务上的应用与实践，包含人群预估、数据分析、人群画像等多个场景。其中着重介绍了如何通过深度优化高效解决广告人群预估的问题，以及未来的迭代计划。

今天我们会介绍字节跳动内部如何通过深度优化 ClickHouse 高效解决广告业务里人群预估的问题。

上图是快看画像平台的功能以及产品的界面，因为时间有限，分享的重点不在于我们每一个功能产品设计的逻辑，或者一个功能的具体实现，而是想着重的跟大家去介绍一下我们在建设中台型画像产品的时候，遇到的 4 个比较难的问题，或者说我们认为一些关键的点。我们的产品能力前面已经介绍过了，也都是比较通用的能力，因为我们做的是中台型的画像产品，建设目标就是为了满足业务对画像平台、画像标签的通用需求。我们平台的功能可以概括为：标签管理、人群圈选、人群上传、人群计算、人群洞察和人群包管理。

用户画像是指根据用户的属性、用户偏好、生活习惯、用户行为等信息而抽象出来的标签化用户模型。通俗说就是给用户打标签，而标签是通过对用户信息分析而来的高度精炼的特征标识。通过打标签可以利用一些高度概括、容易理解的特征来描述用户，可以让人更容易理解用户，并且可以方便计算处理。简单说，就是对用户的某个维度特征的描述。对一群用户而言，我们为了能让业务做的更好，就想知道他们的很多特征。比如说，我现在有个10万块钱的活动预算，那这个钱应该集中花在哪里呢？

DMP数据管理平台是实现用户精细化运营和和全生命周期运营的的基础平台之一。贝壳找房从2018年5月开始建设自己的DMP平台，提供了用户分群、消息推送、人群洞察等能力。DMP平台在贝壳的实践和应用。目前，贝壳 DMP 数据覆盖了贝壳和链家的数亿用户，用户偏好和行为数据量达到数十亿，拥有上千维画像标签。在海量用户画像数据基础上实现用户分群，同时满足业务方越来越复杂的标签组合需求，提高人群包构建速度同时保证数据准确性，为此，我们对DMP平台进行了持续的迭代优化。

其实 DMP 就是把用户各种各样的数据，包括结构化数据以及非结构化数据，进行整合计算然后标签化，通过标签来描述刻画用户，理解用户。比如，通过标签，我们解读到一个北京的用户，想看郑州的房子，喜欢400万的两居室。通过用户的标签，我们可以非常直观的了解用户。然后基于这些结构化的标签数据，我们也可以很方便地跟各个下游系统做对接，实现站外或者站内的精细化运营。接下来我们逐层看一下每层是怎么做的，以及遇到的问题和相应的解决方案。

如果说互联网的上半场是粗狂运营，因为有流量红利不需要考虑细节。那么在下半场，精细化运营将是长久的主题，有数据分析能力才能让用户得到更好的体验。当下比较典型的分析方式是构建用户标签系统，从而精准地生成用户画像，提升用户体验