推荐系统-埋点

原创 2015年07月09日 12:57:38

 

        现在几乎所有的电商平台都或多或少的上了推荐系统,常用的推荐系统有。热门推荐、最近浏览、猜你喜欢、看了还看、买了还买、绑定销售,等等,这么多NB的系统都依赖一点,就是用户行为数据,这些用户行为数据都从那来的呢,那就是埋点系统了,埋点系统是一切推荐系统的生命源。

        所谓埋点系统,按本人理解就是埋点引擎+存储系统,埋点引擎位于前端系统与后端存储系统之间,主要是接收前端的埋点数据,经协议转换以后存储到后端存储系统。

整个系统的架构如下所示:

       

        1,用户行为搜索存储格式选择

       数据存储格式一定要考虑到足够的可伸缩性,因为业务方的需要总是千奇百怪,一个NB的存储设计可以减少后续很多工作量,下面是我设计埋点系统存储的数据项,欢迎讨论。

 Name

Des&R

msg_id

消息ID

realuserid

用户ID,登录后存在,

sysname

来源系统的名称

servicetype

     具休来源页面

oper_type

行为类型

appid

移动应用会有APPID

location

移动应用会有APPID位置信息

accesstime

访问时间

ip

PC端IP地址

itemid

商品ID

anomoususerid

用户ID,没有登录存匿名,登录以后存实际用户ID

descinfo

描述信息,日志类型是评分时,此处写评分

sessioninfo

会话IDs,随机生成的10位数字,每位单独生成

     2,存储系统选择

      当时选择HBASE主要是考虑到两点因素,一是它的可伸缩性,一是它较高的实时性,当然也有很多其它的选择,比如mongodb 也不行,只是我没有用过,不熟。

     3,埋点引擎

      埋点引擎是本系统的核心所在,主要负责解析前端发来的http消息,解析以后通过thrift协议丢给thriftserverthriftserver再放到HBASE

这个设计上来讲还是比较简单,主要是要考虑到高并发,短连接的情况,下面是单机的一个设计。

 

 

       采用了比较典型的多线程设计模型。

       Monitor是主线程,负责接收前端的埋点消息,通过某种调度算法放到对应的队列,给客户端应答埋点成功消息。

      Scheduler:调度模块,Monitor调用,不是单独线程。

       QX:消息队列,采用无锁队列设计,可以理解为一个先进先出的缓存机制,Monitor负责生产消息,Worker负责消费消息。

       Worker:负责消息的校验,合法性检查,解析,打包,发送任务。

 

网站统计中的数据收集原理及实现-埋点统计

网站数据统计分析工具是网站站长和运营人员经常使用的一种工具,比较常用的有谷歌分析、百度统计和腾讯分析等等。所有这些统计分析工具的第一步都是网站访问数据的收集。目前主流的数据收集方式基本都是基于java...
  • u013279509
  • u013279509
  • 2016年12月05日 12:07
  • 8627

网站用户行为数据统计与分析—埋点统计

背景:现如今,销售预测在提高企业经济效益及决策支持水平的方面占有重要的地位。随着企业信息化技术水平的提高,企业销售数据日益丰富,管理者对其中隐藏的销售预测信息的渴求愈来愈强烈。用传统的方法来分析这些海...
  • u010081710
  • u010081710
  • 2016年08月29日 11:00
  • 1226

Android应用中埋点监控的思考与设计

原文地址:点击打开链接 一款Android商业应用上线后,最关心的莫过于用户使用哪个模块比较频繁,哪个模块使用人群较少,产品可以根据这些数据来修正app以后的发展方向,使产生最大的商业价值。...
  • zhou_shaowen
  • zhou_shaowen
  • 2015年03月26日 16:51
  • 1266

已上线系统的统计埋点重构V1.0

已上线系统的统计埋点重构V1.0
  • weixin_36991433
  • weixin_36991433
  • 2017年04月17日 15:35
  • 387

【AI每日播报】推荐系统老司机的10条经验 深度学习应用大盘点

传送门:http://geek.csdn.net/news/detail/125286 CSDN主办的SDCC大会干货满满地结束了。错过了?没关系,具体PPT及大会专题报道请见这里。 【A...
  • savant_ning
  • savant_ning
  • 2016年11月23日 15:02
  • 357

机器学习——推荐系统 知识点总结

一、什么是推荐系统? 概念:一种自动化的工具,可以分析你的历史兴趣,从庞大的库中推荐出喜欢的物品。 基本任务:联系用户和物品,解决信息过载的问题。 诞生:早在很多年前,科学家门就提出了很多解决方...
  • qq_34896915
  • qq_34896915
  • 2017年07月12日 20:26
  • 411

智能推荐系统开发中的十个关键注意点

发表于:2013年03月25日  分类:算法学术, 精华  2 条评论    作者:陈运文 博士,盛大智能推荐团队负责人 亚马逊的CEO Jeff Bezos曾经说过,他的梦想是“如果...
  • yyhustim
  • yyhustim
  • 2014年12月16日 21:34
  • 875

智能推荐系统开发中的十个关键注意点

推荐理由:仔细读了每个字,很有见地,对推荐产品的认识绝非一般人能及。 智能推荐系统开发中的十个关键注意点 作者:陈运文 博士,盛大智能推荐团队负责人 亚马逊的CEO Jeff Bez...
  • chinaliping
  • chinaliping
  • 2013年07月03日 15:52
  • 755

智能推荐系统开发中的十个关键注意点

亚马逊的CEO Jeff Bezos曾经说过,他的梦想是“如果我有100万个用户,我就要为他们做100万个亚马逊网站”。智能推荐系统承载的就是这个梦想,即通过数据挖掘技术,为每一个用户实现个性化的推荐...
  • qeeainburg
  • qeeainburg
  • 2014年06月16日 17:31
  • 1234

智能推荐系统开发中的十个关键注意点

原文:http://www.resyschina.com/2013/03/recommendation-keypoint.html 作者:陈运文 博士,盛大智能推荐团队负责人 亚马逊的CE...
  • turkeyzhou
  • turkeyzhou
  • 2013年07月09日 09:17
  • 1222
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:推荐系统-埋点
举报原因:
原因补充:

(最多只允许输入30个字)