数据中台之OneID (ID-Mapping)架构设计细节全解

最新推荐文章于 2024-06-27 15:38:39 发布
最新推荐文章于 2024-06-27 15:38:39 发布
阅读量7k 收藏 15
点赞数
文章标签： 百度 大数据 python ai app
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_52346300/article/details/123437319
版权
本文介绍了数据中台OneID的重要组成部分ID-Mapping的原理和实现细节。通过举例说明OneID如何关联不同设备，确保用户身份的准确性。文章详细阐述了ID-Mapping的业务逻辑，包括设备信息上报、LocalID和OneID的生成，以及高并发场景下的HBase和Redis数据表结构设计。此外，还解释了ID-Mapping在广告定向和跨平台用户识别中的应用。
摘要由CSDN通过智能技术生成

ab5870759c3094dde16d1dbc8cab702b.png

编 辑：诸葛子房

来 源：大数据架构师（ID：bigdata_arch）

彭友们好，我是老彭。之前抽空写了一篇《One ID中的核心技术ID-Mapping究竟是怎么实现的？》结果一大堆人追着我问有没有具体的实施细节。

这个需求，老彭必须满足！来，上干货！

1254fd7d694d500a70087656bea376e6.png

One ID 简介

《阿里巴巴大数据之路》中有讲到关于数据中台OneData 的方法论，其中分别涉及到OneModel、OneService、OneID。 

3eadf28d60b7e3dce44c2b5a8dd9c4a0.png

OneID是指同一用户、同一设备的一个唯一ID。

例子一：我用我自己的电脑搜索小米11，

最低0.47元/天 解锁文章
大数据架构师Evan
关注
用户画像系列——数据中台之OneID (ID-Mapping)核心架构设计
诸葛子房的博客
03-08 1万+
一.引言 大家在上网的过程中是不是经常有这样的体验，我在百度(或者京东、淘宝)上搜索一件商品(比如说：我搜索了一台iphone 手机看了看，但是没买)，奇怪的是过两天，我竟然在某视频平台或者某网页上又看到了它？ 而且更加奇怪的是，我明明是在电脑pc 端搜索的手机，但是我在手机上看电影的时候却能看到它，是不是也太奇怪了。 难道我的电脑、我的手机、我的ipad 等等电子设备都被监控了吗？ 二、背景 《阿里巴巴大数据之路》中有讲到关于数据中台OneData 的方法论，其中分别涉及到OneModel、
One ID中的核心技术ID-Mapping究竟是怎么实现的？
云祁QI
03-17 3580
点击上方"云祁QI"关注,星标或置顶一起成长网上讲 ID Mapping 的技术文章不多，正好看到彭文华老师的这篇文章，分享给大家，我们一起学习，共同进步。为啥要做I...
业务主体数据OneID（统一身份）构建
最新发布
联蔚盘云的博客
06-27 1050
初步定义了主体ID优先级，优先级确认以“OneID相对稳定，匹配大多数业务场景需求”为原则，通过行业对标并结合业务实情，确定将主体信息中的ContactID为OneID的中心挂靠ID。初步确定数据源主体ID关系对置信度。预取客户信息的ContactID值作为Global_ID（若没有ContactID值，系统会为客户ID生成对应的v_Global_ID值），并使用Global_ID和v_Global_ID连接客户ID，生成OneID。在客户ID归并阶段，采用客户ID优先级原则、客户ID更新原则。
OneID：实现全域链接、标签萃取、立体画像的数据应用服务
AlbenXie的博客
11-05 1325
加密），缺少一句过渡。在动态识别算法之前，建设自动化数据接入框架，一方面ID所涉及的数据源业务的变更频繁，关系对接入需要不断调整，如某业务日志中的Mobile-MAC关系对需要添加，同时删除此日志中的MAC-UserID的关系等等，另外一方面因计算量实在太大影响数据产出时效，不是所有的ID和ID的识别都是支持的，因此需要有一个配置化的方式来记录哪些ID需要接入，哪些ID和ID之间需要识别服务。当时，作为数据服务团队一员，老板是甘云锋（风剑），按当时“用数据”的阶段定义，阿里巴巴正处于向3.0转变的过程，
数据中台OneID：详解ID-Mapping！
大数据梦想家
04-13 4175
ID-Mapping，一文搞定
ID-Mapping
weixin_44996457的博客
02-10 370
转自：一文探究数据仓库体系(2.7万字建议收藏) 登录状态下，日志中会采集到用户的登录id（account），可以做到用户身份的精确标识；而在匿名状态下，日志中没有采集到用户的登录id，准确标识用户，成为一件极其棘手的事情 解决方案：关联设备ID和登录ID（动态修正） 一个设备ID被绑定到某个登陆ID（A）之后，如果该设备在后续一段时间（比如一个月内）被一个新的登陆ID（B）更频繁使用，则该设备ID会被调整至绑定登陆ID（B） ...
数仓建模—OneID
weixin_44996457的博客
05-25 740
ID Mapping是OneID的提前，OneID是ID Mapping的结果，所以要想做OneID必须先做ID Mapping;OneID是为了打通整个数据体系的数据，所以OneID需要以服务的方式对外提供服务，在数仓里面就是作为基础表使用，对外的话我们就需要提供接口对外提供服务。
数据中台的OneID是个什么鬼，主数据它不香吗？
云祁QI
11-23 3177
来源：谈数据，作者：石秀峰全文共3188个字，建议阅读6分钟如题！这个问题一直困扰了我很久，在阿里的数据中台中，有三个主要的组成部分OneID、OneData和OneService。我之前...
数据中台OneID：详解ID-Mapping.docx
04-25
数据中台 OneID：详解 ID-Mapping 数据中台 OneID 是什么鬼？在数据分析中，我们常遇到用户身份信息的混乱问题，例如相同设备、不同账号间的切换，相同用户、不同渠道下的账号不相同等。ID-Mapping 正是解决这个...
【数据治理】数据中台之OneID (ID-Mapping)核心架构设计
m0_54252387的博客
07-01 863
大家在上网的过程中是不是经常有这样的体验，我在百度(或者京东、淘宝)上搜索一件商品(比如说：我搜索了一台iphone 手机看了看，但是没买)，奇怪的是过两天，我竟然在某视频平台或者某网页上又看到了它？而且更加奇怪的是，我明明是在电脑pc 端搜索的手机，但是我在手机上看电影的时候却能看到它，是不是也太奇怪了。难道我的电脑、我的手机、我的ipad 等等电子设备都被监控了吗？《阿里巴巴大数据之路》中有讲到关于数据中台OneData 的方法论，其中分别涉及到OneModel、OneService、OneID。One
【数据治理】One ID中的核心技术ID-Mapping究竟是怎么实现的
菜鸟叔叔的博客
05-04 967
为啥要做ID Mapping？ 其实技术都是为了解决实际业务问题的。如果没有数据孤岛的问题，也就不会有这波澜壮阔的数字技术发展和改革。 在 10 多年前的时候，当时IT界都还在做“四库十二金”的项目。我就接了这么一个活，就是把一个地区的所有地址给弄干净。这可就费劲了，因为同一个地址有 N 多种写法，比如说“大裤衩”，全称叫“中央电视台总部大楼”，门牌号是“北京市朝阳区东三环中路32号”，也有别称叫“中央电视台新址”，而且还有具体经纬度。 这么乱的情况，一不小心就给弄错了。我们当时接的项目就是把这乱七八糟的地
数据中台的OneID-主数据
陈雪岩的博客
07-02 1767
在移动互联时代，对用户ID的识别，不再是单一的Cookie，而是不同类型设备的ID，例如：Android设备的唯一编号（IMEI，MEID，ESN，IMSI），IOS系统的设备的唯一编号（UDID、UUID）等。在很多数据中台的解决方案中，主数据是数据中台的一个组成部分。为了方便理解，这里给出的例子是比较简单的，但在实际实施过程中，其应用要复杂很多，例如：相同ID的值不一致怎么办，重复的ID如何合并，ID信息发生变化如何更新，Mapping表的更新频率如何设置等等，这些问题就需要结合具体场景解决了。
用户画像项目两大核心内容之一“one_id”（含SQL实现代码）
u014337370的博客
04-19 7439
一、one_id概述 用户画像项目有两个核心内容：用户画像标签和用户one_id。 用户标签体系，是波士顿咨询公司的团队帮忙搭建的，而我本人则是负责one_id的设计和生成。one_id，是用户唯一标识，用于海量数据中识别出同一个人。目前市面上有两种one_id:无中生有的one_id和基于现有用户数据生成的one_id。后者是前者的子集。 无中生有的one_id，就是基于用户访问数据： 获取用户的（上网设备）设备号、ip地址等生成one_id 基于用户注册后留下手机号、身份证等基本信息，将不同的on
【数据中台】数据中台的OneID是个什么鬼，主数据它不香吗？
菜鸟叔叔的博客
06-24 1332
来源：谈数据，作者：石秀峰全文共3188个字，建议阅读6分钟如题！这个问题一直困扰了我很久，在阿里的数据中台中，有三个主要的组成部分OneID、OneData和OneService。我之前写的一篇文章曾对阿里的数据中台做过解读，见《什么是One Data体系？阿里数据中台解读》。在这篇文章中，笔者曾提到OneID的本质就是主数据，只是用的不是传统的主数据管理技术。这篇文章发布后，很多读者朋友给我留言，告诉我OneID和主数据不是一回事，但没有一个人给我讲清楚这两个概念为什么不是一回事。今天我们好好捋一下这个
id-mapping介绍
weixin_49196517的博客
12-08 462
缓慢变化维是在维表设计中常见的一种方式，维度并不是不变的，随时间也会发生缓慢变化。如用户的手机号、邮箱等信息可能会随用户的状态变化而改变，再如商品的价格也会随时间变化而调整上 架的价格。因此在设计用户、商品等维表时会考虑用缓慢变化维来开发。同样，在设计ID-Mapping表时，由于一个用户可以在多个设备上 登录，一个设备也能被多个用户登录，所以考虑用缓慢变化维表来记录这种不同时间点的状态变化（图3-9）。对于该拉链表，可查看某日（如20190801）的快照数据。
离线数仓经验之谈一-OneID解决方案（建议收藏）
DolphinF的博客
06-12 1110
笔者是5年经验的离线数仓开发者，基于之前行业经验，准备整理下之前遇到的一些问题，本篇谈谈我对数仓中老生常谈的唯一标识（uid）的理解，直接上干货。APP行为日志采集到数仓后，常采用设备信息作为用户的唯一标识。
数仓建模—ID Mapping(上)
热门推荐
07-21 6万+
ID Mapping ID Mapping 就如同它的名字一样，我们要做的就是将一系列的ID 关联起来，从而可以更加准确完善的分析一个用户。 选取合适的用户标识对于提高用户行为分析的准确性有非常大的影响，尤其是对用户画像、推荐、漏斗、留存、Session 等用户相关的分析功能。其实对于任何分析都是一样的，如果我们不能准确标识一个用户，那么我们的计算结果就没有准确性可言，其实对于数据服务方而言，数据的准确性是我们的第一要务，我们宁愿不出数据，也不要出错误的数据。 ID Mapping 的背景 网络身份证 假如
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值