mysql 追踪ip操作_刘相涛：复盘用户行为及流量转化追踪工具

点击关注 不迷路

01 

写在前面

关于流量及用户行为的追踪产品已经有很多了，用的比较多的有百度统计、谷歌的GA，growingIO以及神策数据等，但并没有谁能够完全满足企业各种场景的需要，都需要进行或多或少的定制化开发才行。通过在网站埋点的方式进行用户行为采集是通用的做法，基本都能满足业务需要，只是如果想知道百度SEO搜索来源的具体关键词必须使用百度统计才行，否则只能看到一长串的加密字符，涛哥把这看成百度心胸狭窄的表现，格局再高也难以逾越胸怀太窄的天花板(题外话)，而转化数据即业务订单与行为及流量来源的关联数据的获取是无论如何也绕不过去的，而这又恰是投产追踪的关键所在。

相对于上述产品，Matomo(马桶)最大的优势是开源，弊端是国外产品，部分方面与国情有悖，甚至地理位置定位功能都把西藏给分离了出去(在此予以谴责)，但总体上优势大于弊端，开源带来了了解数据结构、深挖追踪原理、自主二次开发等诸多便捷，这在涛哥的当matomo遇到excelVBA一文里有详细的记载，不在赘述。

经过一年的探索，不知不觉形成了一个轻量级的包含20多个功能点的数据追踪工具，在年终岁尾回头看的时候，却发现其复杂程度已经超出了涛哥能长期了然于胸的设想，虽然在过程管理中手册和设计文档也同步做了更新，仍觉得有再复盘一下的必要。

主要功能一览

02 

效率决定工具使用率

行为数据的特点是量大、分散，表数据以千万级别计，再加上各个表的内外关联，关系型sql的查询效率势必不高，这在前期的使用中得到了验证，所以数据沉淀就变得尤为重要，沉淀的数据主要包括订单关联的访问数据、末次访问数据、首次访问数据，会员来源数据，流量漏斗数据等。在沉淀的过程中顺便根据需要给数据打上各种标签，比如新老会员标志、首次购买时间、会员属性等，这样一来占时间的大部分工作就都在凌晨通过自动任务进行处理了，工具使用时只需要直接查询出来做编排展示即可，体验就变得大不一样了。

各阶段数据逻辑关系图

03 

复杂度决定工具传播度

VBA的强大之处不仅仅在于可以和Excel进行无缝结合，还可以远程操作数据库，对数据进行增删改查，只需要在客户端安装mysql的驱动程序即可，并且不需要配置数据源，对于使用者来说，这并不比使用一款普通软件来的复杂。

不过，对于某些功能，比如调用百度、360等搜索平台的API获取的相关数据多是压缩格式，需要解压后才可以被读取，这需要使用者下载如gzip.dll等动态链接库文件，从而在一定程度上增大了工具使用复杂度。

另外一部分相对比较复杂的地方是几个数学模型，包括间接转化模型、特殊事件影响评估模型、反向漏斗分析模型以及会员周期管理模型，特别是间接转化模型，里面的几个逻辑比较绕，如果对算法不能很好的理解，这个模型的应用效果将打折扣！

04 

完整性决定工具的传承性

说实话，一开始并不是作为一个系统级的工具为切入点的，只是作为间接转化效果评估的需要局部使用，随着研究的不断深入以及对底层逻辑的进一步理解，发现可做的事情越来越多，就逐渐地演化成了包含20多个功能点的系统性的工具，至今已发布30多个版本。

与此同时，复杂度也不可避免地增大了，为了防止时间一长信息的衰减以及更利于以后的维护或交接，详尽的使用手册和设计文档后来都及时做了同步更新，包括相关模型的推演过程与实现方法，个别功能涉及的模板也内置到了工具内部，基本上形成了闭环和逻辑上的自洽，作为一套完整的工具系统，新的使用者只需做很少的准备工作就可以直接拿来使用，对用户和开发者体现了良好的传承性。

05 

业务价值决定了工具价值

众所周知，再好的工具如果不能放到恰当的业务场景中就很难发挥其价值，这就好像一颗夜明珠只有放到王冠上才会熠熠生辉。

工具的使命首先应该是为业务赋能，能否达到此目的的关键就是看怎么用，挖掘数字背后的潜在要素，通过工具的辅助分析进行有效的决策被证明是一条可行的道路，归根结底还是工具的使用者在起决定性作用。

06 

白璧微瑕但瑕不掩瑜

如前所述，任何工具都有一定的局限性，比如文首所说的工具都存在直入流量占比偏高，对Referer和cookie的依赖度过高等问题，埋点机制又受网络环境和用户的操作习惯影响存在不同程度地数据收集失败的问题，通过api对数据进行二次推送完全是一种补救措施，但对cookie的强依赖又使这种措施并不能100%有效，所以最终会有很小的一部分订单的转化来源会和实际有出入，这不会影响整体的分析结果。

还有一个问题是关于用户的地理位置定位，基于访客的真实ip的定位技术需要ip地理库的精准，但国外的ip库对国内的地理位置具有天然的偏差，比如大连的ip可能会定位到沈阳，平时仅供参考用。如果用户精确所在地是流量投放的重要参考，那就必须购买国内的商业ip库，能做到非常精准，可以定位到访客所在的街道、楼宇甚至门牌号。

07 

写在最后

用户、流量、访客、访问、订单、转化率……是流量和用户行为分析与转化追踪的关键指标，如何根据实际的业务场景和历史数据规律找到匹配度更高的决策尺度是分析的本质所在，并且这种分析永远没有尽头，永远都有优化的空间，从一个个可量化的指标来推测指标背后一个个人的行为和心理，涉及到的范畴就太广了，这往往需要我们：

①除了对具体的问题或事情本身做出回答，还应在分析具体现象之后找出抽象规律。

②除了根据自己的直观感受、情绪与经验做出回答，还要依托于有实验验证或者数据分析支持的结论。

③除了解决一个特定的问题，还能够更普遍地解决类似问题，由此及彼、由表及里地思考问题。

▼更多精彩推荐，请关注公众号▼ 把时间交给学习