用户画像——什么是用户画像?和用户画像的计算框架选型

用户画像——什么是用户画像?和用户画像的计算框架选型

1.什么是用户画像?

1.1 应用场景

在这里插入图片描述
1.1.1 精细化运营
精细化运营
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
1.1.2 推荐系统
在这里插入图片描述在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

1.2 概念定义

在这里插入图片描述
1.2.1 总结场景对数据的需求
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
1.2.2 实现这些场的数据结构

在这里插入图片描述
1.2.3 用户画像的概念
在这里插入图片描述
在这里插入图片描述在这里插入图片描述

2.用户画像的计算框架选型

在这里插入图片描述

2.1 离线数仓

在这里插入图片描述
2.1.1 需求介绍
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
2.1.2 技术演进
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
2.1.3 总结
在这里插入图片描述

2.2实时数仓

在这里插入图片描述
2.2.1 需求介绍
在这里插入图片描述
2.2.2 技术演进
在这里插入图片描述
在这里插入图片描述
2.2.3 总结
在这里插入图片描述

2.3离线画像

在这里插入图片描述
2.3.1 需求说明
在这里插入图片描述

在这里插入图片描述
2.3.2 实现方法一:使用数仓的方式
在这里插入图片描述
ODS 和 DW 去数据都是从数仓里面取的
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
2.3.3 实现方法二:每个标签对应一个Spark Job
在这里插入图片描述
在这里插入图片描述

2.3.4 总结
在这里插入图片描述

2.4 实时画像

在这里插入图片描述

  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
课程简介:  本项目课程是一门极具综合性和完整性的大项目课程;课程项目的业务背景源自各类互联网公司对海量用户浏览行为数据和业务数据分析的需求及企业数据管理、数据运营需求。 本课程项目涵盖数据采集与预处理、数据仓库体系建设、用户画像系统建设、数据治理(元数据管理、数据质量管理)、任务调度系统、数据服务层建设、OLAP即席分析系统建设等大量模块,力求原汁原味重现一个完备的企业级大数据运营系统。  拒绝demo,拒绝宏观抽象,拒绝只讲不练,本课程高度揉和理论与实战,并兼顾各层次的学员,真正从0开始,循序渐进,每一个步骤每一个环节,都会带领学员从需求分析开始,到逻辑设计,最后落实到每一行代码,所有流程都采用企业级解决方案,并手把手带领学员一一实现,拒绝复制粘贴,拒绝demo化的实现。并且会穿插大量的原创图解,来帮助学员理解复杂逻辑,掌握关键流程,熟悉核心架构。   跟随项目课程,历经接近100+小时的时间,从需求分析开始,到数据埋点采集,到预处理程序代码编写,到数仓体系搭建......逐渐展开整个项目的宏大视图,构建起整个项目的摩天大厦。  由于本课程不光讲解项目的实现,还会在实现过程中反复揉和各种技术细节,各种设计思想,各种最佳实践思维,学完本项目并勤于实践的话,学员的收获将远远超越一个项目的具体实现,更能对大数据系统开发产生深刻体悟,对很多技术的应用将感觉豁然开朗,并带来融会贯通能力的巨大飞跃。当然,最直接的收获是,学完本课程,你将很容易就拿到大数据数仓建设或用户画像建设等岗位的OFFER课程模块: 1. 数据采集:涉及到埋点日志flume采集系统,sqoop业务数据抽取系统等; 2. 数据预处理:涉及到各类字典数据构建,复杂结构数据清洗解析,数据集成,数据修正,以及多渠道数据的用户身份标识打通:ID-MAPPING等;3. 数据仓库:涉及到hive数仓基础设施搭建,数仓分层体系设计,数仓分析主题设计,多维分析实现,ETL任务脚本开发,ETL任务调度,数据生命周期管理等;4. 数据治理:涉及数据资产查询管理,数据质量监控管理,atlas元数据管理系统,atlas数据血缘管理等;5. 用户画像系统:涉及画像标签体系设计,标签体系层级关系设计,各类标签计算实现,兴趣类标签的衰减合并,模标签的机器学习算法应用及特征提取、模训练等;6. OLAP即席分析平台:涉及OLAP平台的整体架构设计,技术,底层存储实现,Presto查询引擎搭建,数据服务接口开发等;7. 数据服务:涉及数据服务的整体设计理念,架构搭建,各类数据访问需求的restapi开发等;课程所涉及的技术: 整个项目课程中,将涉及到一个大数据系统中所用到的几乎所有主要技术,具体来说,包含但不限于如下技术组件:l Hadoopl Hivel HBasel SparkCore /SparkSQL/ Spark GRAPHX / Spark Mllibl Sqoopl Azkabanl Flumel lasal Kafkal Zookeeperl Solrl Prestop

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

大数据AI铭仔

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值