1.1 概述
数据和特征决定了机器学习算法的上线,而模型和算法只是不断地逼近这个上限而已。
分类:
- 流量数据:以用户访问产品,记录用户浏览行为核心的埋点数据日志
- 以生产系统内存储的业务表单数据为核心的业务数据记录。
用户访问产品时候的交互“动作”触发的是埋点数据的流量数据,用户访问产品看到的内容是业务数据。比如:我们“点击广告”时间,能够产生一条埋点数据,我们看到的广告内容是“商品”信息,商品信息是被存储业务数据。
什么是埋点: 埋点是数据采集一种重要方式,主要记录和收集用户在终端操作行为;基本原理是在app|H5|pc上布置采集数据的SDK代码,当用户的行为满足某种条件后,比如进入某个界面,点击某个button,会自动触发记录和存储,然后这些数据会被实时或延迟传递到终端服务器,或者通过后端采集用户使用服务过程中的请求数据。(前端:客户端埋点,在客户端上写代码SDK;后端:服务器埋点,在服务器上写代码)。
前段埋点:
前端埋点是在用户端(APP、Web、客户端)等嵌入数据采集代码,比如友盟等均采用的是前端埋点,比如通过嵌入一段代码就就可以对网页数据的访问数据进行采集。相比于后端埋点,前端埋点能方便收集到用户在界面上的行为数据,比如用户点了哪个按钮、页面之间的跳转次序、停留时长等,这些数据是后面进行数据分析的主要来源。
前端埋点有以下三类:
代码埋点
代码埋点是直接将采集SDK集成在终端,然后不断在此基础上添加调整采集方案,是目前主流的埋点采集方案,其优缺点如下:
优点:
高度定制、控制精准、采集的数据丰富准确
缺点:
首先是每当有采集需求,需要开发人员不断添加采集代码,工作量大;
其次变更采集策略,需要发布新版本,代价巨大,存在滞后效应;
最后由于采集代码常驻终端,不断将采集的用户行为数据进行记录和上报,对于终端尤其是移动终端来说还有耗电、消耗数据流量等负载,此外在数据上报传输的过程中也存在丢失数据的风险。
可视化埋点
由于代码埋点需要终端开发人员来执行采集方案,对业务的功能开发侵入性较高。有的公司开发出了可视化埋点技术,只需要产品与运营人员通过GUI界面进行鼠标简单点击,就可以随时增加、取消、调整采集数据的位置和方式,此种埋点方式避开了终端开发人员的介入,由需求人员直接执行采集,减轻了需求传递过程中的信息损耗和误解,另外可视化埋点技术往往由服务端直接下发采集的配置文件,而不用跟随版本发布,从而加快了数据采集的流程。
(有埋点需求,直接操作即可生效!不需要等版本上线才能发布埋点)。
无埋点
无埋点与可视化埋点原理基本一致,区别在于无埋点是先遍历所有的控件和操作行为的组合情况,然后将这些组合情况交给埋点后台,由数据分析人员选择对哪些组合的埋点数据进行分析,其优缺点如下:
优点:
收集数据全面,无漏报
缺点:
采集数据