操作手册2：建数仓，从ODS到DWD层——日志的清洗、转换、集成

需求：

用spark来进行数据ETL：

• 清洗：

  • 去除json数据中的废弃字段
  • 过滤json格式不正确的脏数据
  • 过滤日志中的account及deviceid全为空的记录
  • 过滤日志中缺少关键字段（properties/eventid/sessionid缺一不可）的记录
  • 过滤日志中不符合时间段的记录（由于app上报日志可能的延迟，有数据延迟到达）
  • 对于web端日志，过滤爬虫请求数据（通过useragent标识来分析）

• 转换：

  • 将json打平，解析成扁平结构，主要是里面json的事件日志
  • session分割：
    • 对于web端日志，按天然session分割，不需要处理
    • 对app日志，由于使用了登录保持技术，导致app进入后台很长时间后，再恢复前台，依然是同一个session，不符合session分析定义，需要按事件间隔切割（业内通用：30分钟）
    • 对于wx小程序日志，与app类似，session有效期很长，需要按事件间隔时间切割
  • 数据规范处理：
    • boolean字段，在数据中有使用1/0/-1标识的，也有使用true/false表示的，统一为Y/N/U
    • 字符串类型字段，在数据中有空串，有null值，统一为null值（这个很重要，会影响计算）
    • 日期格式统一：2020/9/2  2020-9-2 20200902等都统一变成YYYY-MM-dd

• 集成：

  • gps坐标解析为省、市 、县信息，方便后续的地域维度分析
  • 若gps找不到的地域信息，使用ip进行解析
  • id_mapping：为每个用户生成一个全局唯一标识（给匿名访问，绑定到一个id上，漏斗、留存、session）

 

操作实现：

1、构建 ：一个父工程、两个模块：datahouse数仓系统、usertag用户画像

父工程maven

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>pub.ryan</groupId>