大数据实战(二)

4.用户画像系统

4.1 什么是用户画像

4.2 用户画像作用

4.2 用户标签画像：标签标示法

4.3 用户标签和标签的数学描述

4.4 用户画像标签举例

4.4 用户画像挑战

• 记录和存储亿级用户的画像（使用hadoop，hbase解决）
• 支持和扩展不断增加的纬度和偏好（使用hadoop，hbase解决）
• 毫秒级的更新（使用spark解决）
• 支撑个性化推荐、广告投放和精细化营销等产品（难解决）

4.5 用户画像系统流程

（一）明确问题和了解数据

追求需求和数据的匹配
明确需求
数据的规模、重要特征的覆盖度等

（二）数据预处理

数据集成、数据冗余，数值冲突
数据采样，数据量大时
数据清洗，缺失值处理与噪声数据

（三）特征工程

• 数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已
• 特征：对所需解决问题有用的属性
• 特征的提取、选择和构造
  针对所解决的问题选择最有用的特征集合
  通过相关系数等方法来计算特征的重要性，人工筛选，有些算法输出特性：Random Forest ，维度过高，PCA自动降维

（四）特征工程步奏

• 特征提取
  业务日志，WEB公开数据抓取，第三方合作
• 特征处理
  特征清洗
  特征预处理：值处理、特征选择、特征组合、降维
  商业加工
• 特征监控
  指标：时效性，覆盖率和异常值
  可视化 预警

（四）模型算法

4.6 用户画像系统架构

（一）概述

（二）详细