数仓采集项目【02数据生成模块】_数据类模块项目-CSDN博客

本文链接：https://blog.csdn.net/weixin_43923463/article/details/124845818

一数据生成模块

1 用户行为目标数据

要收集和分析的数据主要包括页面数据、事件数据、曝光数据、启动数据和错误数据。

（1）页面数据

页面数据主要记录一个页面的用户访问情况，包括访问时间、停留时间、页面路径等信息。

所有页面id

home("首页"),
category("分类页"),
discovery("发现页"),
top_n("热门排行"),
favor("收藏页"),
search("搜索页"),
good_list("商品列表页"),
good_detail("商品详情"),
good_spec("商品规格"),
comment("评价"),
comment_done("评价完成"),
comment_list("评价列表"),
cart("购物车"),
trade("下单结算"),
payment("支付页面"),
payment_done("支付完成"),
orders_all("全部订单"),
orders_unpaid("订单待支付"),
orders_undelivered("订单待发货"),
orders_unreceipted("订单待收货"),
orders_wait_comment("订单待评价"),
mine("我的"),
activity("活动"),
login("登录"),
register("注册");

所有页面对象类型

sku_id("商品skuId"),
keyword("搜索关键词"),
sku_ids("多个商品skuId"),
activity_id("活动id"),
coupon_id("购物券id");

所有来源类型

promotion("商品推广"),
recommend("算法推荐商品"),
query("查询结果商品"),
activity("促销活动");

（2）事件数据

主要记录应用内一个具体操作行为，包括操作类型、操作对象、操作对象描述等信息。

所有动作类型

favor_add("添加收藏"),
favor_canel("取消收藏"),
cart_add("添加购物车"),
cart_remove("删除购物车"),
cart_add_num("增加购物车商品数量"),
cart_minus_num("减少购物车商品数量"),
trade_add_address("增加收货地址"),
get_coupon("领取优惠券");
对于下单、支付等业务数据，可从业务数据库获取。

所有动作目标

sku_id("商品"),
coupon_id("购物券");

（3）曝光数据

主要记录页面所曝光的内容，包括曝光对象，曝光类型等信息。

所有曝光类型

promotion("商品推广"),
recommend("算法推荐商品"),
query("查询结果商品"),
activity("促销活动");

所有曝光类型对象类型

sku_id("商品skuId"),
activity_id("活动id");

（4）启动数据

记录应用的启动信息。

所有启动入口类型

icon("图标"),
notification("通知"),
install("安装后启动");

（5）错误数据

记录应用使用过程中的错误信息，包括错误编号及错误信息。

2 数据埋点

（1）主流埋点方式

埋点从实现的角度来说就是一段代码（一个代码包），将代码包埋到某一个按钮下面，当鼠标点击按钮的时候就会触发代码包的执行，比如可以收集用户的信息，当前时间，点击了什么，将这些信息包装成一条日志，以请求的方式，发送到后台的日志服务器存储起来。

目前主流的埋点方式，有代码埋点（前端/后端）、可视化埋点、全埋点三种。

代码埋点：通过调用埋点SDK函数，在需要埋点的业务逻辑功能位置调用接口，上报埋点数据。例如，我们对页面中的某个按钮埋点后，当这个按钮被点击时，可以在这个按钮对应的 OnClick 函数里面调用SDK提供的数据发送接口，来发送数据。

通过前端html代码实现（主流）。

也可以通过后端代码实现，如业务数据存储到数据库的同时也要将当前的业务行为记录到文件中。一般不会用，业务数据在业务数据库中存在，没有必要再存储一份，后端埋点不能够采集到所有的用户行为，比如用户的一些操作不和后台进行交互，那么就无法采集。
可视化埋点：只需要研发人员集成采集 SDK，不需要写埋点代码，业务人员就可以通过访问分析平台的“圈选”功能，来“圈”出需要对用户行为进行捕捉的控件，并对该事件进行命名。圈选完毕后，这些配置会同步到各个用户的终端上，由采集 SDK 按照圈选的配置自动进行用户行为数据的采集和发送。

分析整个页面，当页面分析完成会在后台生成与被分析页面相似的页面，如前者有按钮和超链接，后者也会有按钮和超链接，并且在按钮和超链接的前面有一个小圈圈，直接勾选后会生成一个配置，之后将配置下发到每一个页面，就可以完成埋点操作。
全埋点：通过在产品中嵌入SDK，前端自动采集页面上的全部用户行为事件，上报埋点数据，相当于做了一个统一的埋点。然后再通过界面配置哪些数据需要在系统里面进行分析。

可视化埋点中页面所有的东西都要，也就是所有的用户行为数据都会采集。

（2）埋点数据日志结构

根据实际情况有不同的日志结构，以下的结构以电商日志为例。

日志结构大致可分为两类，一是普通页面埋点日志，二是启动日志。

普通页面日志结构：每条日志包含当前页面的页面信息，所有事件（动作）、所有曝光信息以及错误信息。除此之外，还包含了一系列公共信息（共享给后续的每一个字段去使用，如actions数据），包括设备信息，地理位置，应用信息等，即下边的common字段。

{
     
  "common": {
                       -- 公共信息
    "ar": "230000",              -- 地区编码
    "ba": "iPhone",              -- 手机品牌
    "ch": "Appstore",            -- 渠道
    "is_new": "1",--是否首日使用，首次使用的当日，该字段值为1，过了24:00，该字段置为0。
	"md": "iPhone 8",            -- 手机型号
    "mid": "YXfhjAYH6As2z9Iq", -- 设备id
    "os": "iOS 13.2.9",          -- 操作系统
    "uid": "485",                 -- 会员id
    "vc": "v2.1.134"             -- app版本号
  },
"actions