访客路径分析-Druid实践

一、背景

访客分析是常见数据分析的一种，通过如上图（Google Analytics）以比较直观的方式展现用户达到网站后各条访问路径的流失情况，帮助网站优化减少流失率。

访客路径分析有如下几个关键点：

• 用户访问的路径通常有多级，默认展开包含着陆页在内的5级路径，支持往后每点击一次展开一级路径（最高支持到10级，再往后意义不大）。
• 每级只展示top 5访问数的网页，每级路径网页之间连接线表示跳转情况。
• 指标包含top 5网页的会话数、流失数和剩余网页的会话数。

通过上述分析，要实现访客路径分析需要完成如下几项工作：

1. 计算每一级所有网页的会话总数。
2. 计算每一级会话数top 5的网页。
3. 计算每一级两两网页之间的跳转访问数。

本文提出一种基于druid的实现方案，将上述3个查询转化为druid中的Timeseries（求总数）、TopN（求前5）、GroupBy（求两两关联）查询。

二、技术方案

数据清洗（ETL）
将用户pv流水根据，聚合成一个session会话。session会话内用户的访问流水按时间排序，取前11个分别放于维度landing_page ~ path10，ETL处理后的数据表格示例如下：

host	landing_page	path1	path2	…	path10
www.xxx.com	/index.html	/a	/b	…	/e
www.xxx.com	/product.html	/c	/d	…	null

数据入Druid供查询，schema设计如下

{
  "type" : "index_hadoop",
  "spec" : {
    "ioConfig" : {
      "type" : "hadoop",
      "inputSpec" : {
        "type" : "static",
        "paths" : ""
      }
    },
    "dataSchema" : {
      "dataSource" : "",
      "granularitySpec" : {
        "type" : "uniform",
        "segmentGranularity" : {"type":"period","period":"P1D","timeZone":"Asia/Shanghai"},
        "queryGranularity" : {"type":"period","period":"P1D","timeZone":"Asia/Shanghai"},
        "intervals" : []
      },
      "parser" : {
        "type" : "string",
        "parseSpec" : {
          "format" : "json",
          "dimensionsSpec" : { "dimensions": [ "host", "landing_page", "path1", ... "path10" ] },
          "timestampSpec" : { "format" : "auto", "column" : "time" } }
      },
      "metricsSpec": [
        {
          "name": "count",
          "type": "count"
        }
      ]
    },
    "tuningConfig" : {
      "type" : "hadoop",
      "partitionsSpec" : {
        "type" : "hashed",
        "targetPartitionSize" : 5000000
      },
      "indexSpec" : {
        "bitmap" : { "type" : "roaring"},
        "dimensionCompression":"LZ4",
        "metricCompression" : "LZ4",
        "longEncoding" : "auto"
      }
    }
  }
}

三、具体实践

查询语句示例

计算每一级所有网页的会话总数（默认展示前5级），过滤掉为null的情况（用户只访问到上一级就跳出）。

{
  "queryType": "timeseries",
  "dataSource": "visit_path_analysis",
  "granularity": "all",
  "filter": {
    "type": "and",
    "fields": [{"type": "selector", "dimension": "host", "value": "www.xxx.com"}]
  },
  "aggregations": [
    { 
      "type": "filtered",
      "filter": { 
        "type": "not", 
        "field": { "type": "selector", "dimension": "landing_page", "value": null }
      },
      "aggregator": { "type": "longSum", "name": "count0", "fieldName": "count" }
    },
    { 
      "type": "filtered",
      "filter": {
        "type": "not", 
        "field": { "type": "selector", "dimension": "path1", "value": null }
      },
      "aggregator": { "type": "longSum", "name": "count1", "fieldName": "count" }
    },
    {
      "type": "filtered",
      "filter": {
        "type": "not", 
        "field": { "type": "selector", "dimension": "path2", "value": null }
      },
      "aggregator": { "type": "longSum", "name": "count2", "fieldName": "count" }
    },
    { 
      "type": "filtered",
      "filter": { 
        "type": "not", 
        "field": { "type": "selector", "dimension": "path3", "value": null }
      },
      "aggregator": { "type": "longSum", "name": "count3", "fieldName": "count" }
    },
    { 
      "type": "filtered",
      "filter": { 
        "type": "not", 
        "field": { "type": "selector", "dimension": "path4", "value": null }
      },
      "aggregator": { "type": "longSum", "name": "count4", "fieldName": "count" }
    }
  ],
  "intervals": []
}

计算每一级会话数top5的网页，过滤掉为null的情况（用户只访问到上一级就跳出）。

{
  "queryType": "topN",
  "dataSource": "visit_path_analysis",
  "granularity": "all",
  "dimension": "landing_page",
  "filter": {
    "type": "and",
    "fields": [
      {"type": "selector", "dimension": "host", "value": "www.xxx.com"},
      {
        "type": "not", 
        "field": { "type": "selector", "dimension": "landing_page", "value": null }
      }
    ]
  },
  "threshold": 5,
  "metric": {
    "type": "numeric",
    "metric": "count"
  },
  "aggregations": [{ "type": "longSum", "name": "count", "fieldName": "count" }],
  "intervals": []
}

计算每一级两两网页之间的跳转访问数，后一级的null用来计算流水数。

{
  "queryType": "groupBy",
  "dataSource": "visit_path_analysis",
  "granularity": "all",
  "dimensions": ["landing_page", "path1"],
  "filter": {
    "type": "and",
    "fields": [
      {"type": "selector", "dimension": "host", "value": "www.xxx.com"},
      {
        "type": "in",
        "dimension": "landing_page",
        "values": ["/a", "/b", "/c", "/d", "e"]
      },
      {
        "type": "in",
        "dimension": "path1",
        "values": ["/f", "/g", "/h", "/i", "/j", null]
      }
    ]
  },
  "aggregations": [{ "type": "longSum", "name": "count", "fieldName": "count" }],
  "intervals": []
}

四、总结分析

本文提出基于Druid来做访客路径分析的方案需由多个请求来完成。

• 计算每一级所有网页的会话总数和计算每一级会话数top5的网页，在默认展示的时候可以先并行向druid发起请求。获取每级总会话数后再减去top5的会话数就是剩余其他网页的会话数。

• 当得到每一级top5的路径后，只需要相邻两级路径做GroupBy查询即可获得转化数与流水数。

• 当需要展示往后一级路径流转时，只需要基于当前最后一级的top5与下一级别top5做GroupBy计算即可。

• 从数据分布来看，大部分流水集中在前几步，往后有数据级的差距。

• 该方案最大挑战来着对Druid的并发请求，一个页面展示会扩大为多个Druid并发语句请求。