推荐系统-埋点

原创 2015年07月09日 12:57:38

 

        现在几乎所有的电商平台都或多或少的上了推荐系统,常用的推荐系统有。热门推荐、最近浏览、猜你喜欢、看了还看、买了还买、绑定销售,等等,这么多NB的系统都依赖一点,就是用户行为数据,这些用户行为数据都从那来的呢,那就是埋点系统了,埋点系统是一切推荐系统的生命源。

        所谓埋点系统,按本人理解就是埋点引擎+存储系统,埋点引擎位于前端系统与后端存储系统之间,主要是接收前端的埋点数据,经协议转换以后存储到后端存储系统。

整个系统的架构如下所示:

       

        1,用户行为搜索存储格式选择

       数据存储格式一定要考虑到足够的可伸缩性,因为业务方的需要总是千奇百怪,一个NB的存储设计可以减少后续很多工作量,下面是我设计埋点系统存储的数据项,欢迎讨论。

 Name

Des&R

msg_id

消息ID

realuserid

用户ID,登录后存在,

sysname

来源系统的名称

servicetype

     具休来源页面

oper_type

行为类型

appid

移动应用会有APPID

location

移动应用会有APPID位置信息

accesstime

访问时间

ip

PC端IP地址

itemid

商品ID

anomoususerid

用户ID,没有登录存匿名,登录以后存实际用户ID

descinfo

描述信息,日志类型是评分时,此处写评分

sessioninfo

会话IDs,随机生成的10位数字,每位单独生成

     2,存储系统选择

      当时选择HBASE主要是考虑到两点因素,一是它的可伸缩性,一是它较高的实时性,当然也有很多其它的选择,比如mongodb 也不行,只是我没有用过,不熟。

     3,埋点引擎

      埋点引擎是本系统的核心所在,主要负责解析前端发来的http消息,解析以后通过thrift协议丢给thriftserverthriftserver再放到HBASE

这个设计上来讲还是比较简单,主要是要考虑到高并发,短连接的情况,下面是单机的一个设计。

 

 

       采用了比较典型的多线程设计模型。

       Monitor是主线程,负责接收前端的埋点消息,通过某种调度算法放到对应的队列,给客户端应答埋点成功消息。

      Scheduler:调度模块,Monitor调用,不是单独线程。

       QX:消息队列,采用无锁队列设计,可以理解为一个先进先出的缓存机制,Monitor负责生产消息,Worker负责消费消息。

       Worker:负责消息的校验,合法性检查,解析,打包,发送任务。

 

版权声明:本文为博主原创文章,未经博主允许不得转载。 举报

相关文章推荐

浅谈服务埋点(2)——Metrics

还是那个话题:为什么要做服务埋点?  就像我们操作系统里面的资源管理器一样,如果能够实时或者准实时的看到整个系统耗费的CPU,内存等资源,对我们快速对系统做出响应,以及优化很重要。同样,对于对外提供接...

分布式调用跟踪系统的设计和应用学习

随着分布式服务架构的流行,特别是微服务等设计理念在系统中的应用,业务的调用链越来越复杂,一个请求可能会涉及到几十个服务的协同处理, 牵扯到多个团队的业务系统,那么如何快速准确的定位到线上故障?缺乏一个...

我是如何成为一名python大咖的?

人生苦短,都说必须python,那么我分享下我是如何从小白成为Python资深开发者的吧。2014年我大学刚毕业..

研发解决方案介绍#Tracing(鹰眼)

分布式系统为什么需要 Tracing?   先介绍一个概念:分布式跟踪,或分布式追踪。   电商平台由数以百计的分布式服务构成,每一个请求路由过来后,会经过多个业务系统并留下足迹,并产生对各种Ca...

埋点统计_网站统计中的数据收集原理及实现

[摘要:网站数据统计剖析对象是网站站少战运营职员常常应用的一种对象,比拟经常使用的有谷歌剖析、百度统计战腾讯剖析等等。全部那些统计剖析对象的第一步皆是网站拜访数据的网络。现在] 网站数据...

网站用户行为数据统计与分析之一:埋点代码设计

适合场景:

从“埋点技术已死?”开始说起

大数据时代的到来意味着数据量的爆炸,也意味着收集数据的难度将大幅增加。为了将海量的数据收集起来,埋点技术应运而生。然而随着大数据的发展和深入,用户的要求越来越高,埋点技术开始变得力不从心。 ...

Java后台埋点统计

埋点监控

浅谈服务埋点(1)——AOP

年会圆满结束了,我们的年会系统整体表现也还算不错,但唯一遗憾的是到最后摇一摇的时候,系统卡住了,不过还好最后挺了过来。   在以往编写应用程序的时候,我们通常会记录日志,以便出了问题之后事后有迹可循...

推荐系统-埋点

现在几乎所有的电商平台都或多或少的上了推荐系统,常用的推荐系统有。热门推荐、最近浏览、猜你喜欢、看了还看、买了还买、绑定销售,等等,这么多NB的系统都依赖一点,就是用户行为数据,这些用户行为数据都从那...

推荐系统--揭开推荐的神秘面纱

推荐,就是把你可能喜欢的商品,推到你的面前。构建一个推荐系统,就是构建如何把商品推到你面前的过程。 推荐是一个整体的计算过程,在编码中,关于算法的部分所占的工作量可能1%都不到; 构建一个千万PV级别...
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)