如何埋点获得数据并进行数据分析

一、埋点是什么？

数据分析的前提是数据。对于电子商务平台来说，数据分为以下几类：
1、用户基本属性数据
2、交易数据
3、卖家和商品数据
4、活动运营数据
5、流量数据或用户行为数据
前四个数据是直接通过用户录入或者行为触发，在数据库里面产生记录。
而流量数据或者说用户行为数据，则需要识别具体的每个行为。通过埋点（也可通过定制access Log）就可以取得这部分数据。
通常是业务方、PD、BI，通过实际需求设计埋点方案。开发在代码（前端或后端）的相应位置点植入统计代码，对用户的行为进行记录，这就是埋点。埋点后，通过打点将埋点数据发送出去，存储到服务器上，在数据库中产生记录。
包括2个步骤：
1、日志收集：获取每次用户行为，发送到服务器。
2、日志处理：将日志处理、提取需要的信息，存储在数据库中。

二、埋点的种类

目前主要的埋点有两类：
1、点击埋点。用户进行了点击、刷新、触碰等主动操作后，打点。 例如：用户点击“注册”按钮，向服务器发送一条日志。
2、曝光埋点。当被埋点的数据得到展示的时候，打点。
（1）页面曝光。页面被展示的时候，打点。
（2）局部曝光 例如：用户浏览首页，看完第一屏，意犹未尽，于是翻页了，这时候发送一条曝光日志，表示第二屏的内容被用户看到了。

三、数据分析

埋点获取用户日志数据。通过对数据的处理、分析、建模，可以挖掘用户的喜好、需求，判断产品的效果和未来走向。并进一步，监控各项系统指标。
具体可以进行以下的数据分析：
1、流量统计
（1）按在线情况分析
在线情况分析分别记录在线用户的活动信息，包括：来访时间、访客地域、来路页面、当前停留页面等，这些功能对企业实时掌握自身网站流量有很大的帮助。
（2）按时段分析
时段分析提供网站任意时间内的流量变化情况.或者某一段时间到某一段时间的流量变化，比如小时段分布，日访问量分布，对于企业了解用户浏览网页的的时间段有一个很好的分析。
（3）按来源分析
来源分析提供来路域名带来的来访次数、IP、独立访客、新访客、新访客浏览次数、站内总浏览次数等数据。这个数据可以直接让企业了解推广成效的来路，从而分析出那些网站投放的广告效果更明显。
2、构建行为路径
通过对处理后的信息进行关联，获取用户的整条行为链路。例如：用户A在首页通过点击banner第三张图片，进入活动页H，在活动页H点击导航第三排第四个推广位进入店铺D，最后发生成交。

四、日志数据样式及SQL举例

具体的埋点操作BI一般不需要特别清楚。
BI一般可以通过日志数据取数进行分析，同时和开发同学核对好其中的数据逻辑即可。

一般一条完整的日志数据如下，具体字段及含义如下（只列举常用的字段）：
imei：国际手机唯一标识
device_id：设备ID
channel：下载渠道
app_version：app版本，如：3.2.0
eventid：行为ID
arg1：行为的参数1，实际根据行为属性来确定
arg2：行为的参数2，实际根据行为属性来确定
arg3：行为的参数3，实际根据行为属性来确定
eventid是核心的字段，其下面的arg1等，是根据具体的eventid要求而创建的行为各种属性的参数。比如：eventID：行为ID；source_page：来源页面，即之前访问的页面名称；target_page：目标页面参数，即所在页面。
如：
eventID=‘点击’
and source_page=’淘宝首页’
and target_page=‘商品详情页’
此条日志数据表示，某个用户从淘宝首页进入到了商品详情页，并且发生了点击行为。

SQL取数举例：
1、统计app在各个渠道下的统计量：
Select channel, count(*)
From table1
Group by channel
Where ds=20160701 
2、统计商品详情页的流量来源及各来源下的流量数
Select source_page, count(*)
From table1
Where target_page=‘商品详情页’
Group by source_page
Where ds=20160701

五、文章来源

https://zhuanlan.zhihu.com/p/21740362