用户画像标签数据存储之MySQL存储

目录

0. 相关文章链接

1. 元数据管理

2. 监控预警数据

2.1. 标签计算数据监控

2.2. 服务层同步数据监控

2.3. 结果集存储

---

注：此博文为根据 赵宏田 老师的 用户画像·方法论与工程化解决方案 一书读后笔记而来，仅供学习使用

0. 相关文章链接

用户画像文章汇总

1. 元数据管理

        Hive适合于大数据量的批处理作业，对于量级较小的数据，MySQL 具有更快的读写速度。Web端产品读写MySQL数据库会有更快的速度， 方便标签的定义、管理。

        其中MySQL主要是元数据录入和查询功能，将相应的数据存储在MySQL中。下面给出了平台标签视图（如图1所示）和元数据管理页面（如图2所示）。

图1：平台标签视图

图2：标签编辑管理（元数据管理）

平台标签视图中的标签元数据可以维护在MySQL关系数据库中，便于标签的编辑、查询和管理。

2. 监控预警数据

        MySQL还可用于存储每天对ETL结果的监控信息。从整个画像调度流的关键节点来看，需要监控的环节主要包括对每天标签的产出量、 服务层数据同步情况的监控等主要场景。如下图所示是用户画像调度流主要模块，下面详细介绍。

2.1. 标签计算数据监控

        主要用于监控每天标签ETL的数据量是否出现异常，如果有异常情 况则发出告警邮件，同时暂停后面的ETL任务。

2.2. 服务层同步数据监控

        服务层一般采用HBase、Elasticsearch等作为数据库存储标签数 据供线上调用，将标签相关数据从Hive数仓向服务层同步的过程中， 有出现差错的可能，因此需要记录相关数据在Hive中的数量及同步到 对应服务层后的数量，如果数量不一致则触发告警。

        在对画像的数据监控中，调度流每跑完相应的模块，就将该模块的监控数据插入MySQL中，当校验任务判断达到触发告警阈值时，发送告警邮件，同时中断后续的调度任务。待开发人员解决问题后，可重启后续调度。

2.3. 结果集存储

        ·结果集可以用来存储多维透视分析用的标签、圈人服务用的用户 标签、当日记录各标签数量，用于校验标签数据是否出现异常。

        有的线上业务系统使用MySQL、Oracle等关系型数据库存储数据， 如短信系统、消息推送系统等。在打通画像数据与线上业务系统时， 需要考虑将存储在Hive中的用户标签相关数据同步到各业务系统，此 时MySQL可用于存储结果集。

        Sqoop是一个用来将Hadoop和关系型数据库中的数据相互迁移的工 具。它可以将一个关系型数据库（如MySQL、Oracle、PostgreSQL等） 中的数据导入Hadoop的HDFS中，也可以将HDFS中的数据导入关系型数 据库中。

        下面通过一个案例来讲解如何使用Sqoop将Hive中的标签数据迁移 到MySQL中。

        电商、保险、金融等公司的客服部门的日常工作内容之一是对目 标用户群（如已流失用户、高价值用户等）进行主动外呼，以此召回 用户来平台进行购买或复购。这里可以借助用户画像系统实现该功 能。

        将Hive中存储的与用户身份相关的数据同步到客服系统中，首先 在Hive中建立一张记录用户身份相关信息的表（dw.userprofile_userservice_all）。设置日期分区以满足按日期 选取当前人群的需要。

---

注：再次声明，此博文为根据 赵宏田 老师的 用户画像·方法论与工程化解决方案 一书读后笔记而来，仅供学习使用

注：其他相关文章链接由此进 -> 用户画像文章汇总

---