杉枫-CSDN博客

原创京东电商互联网架构中redis运用

互联网应用特点三高：高并发、高可用、高性能，要达到这几个目标，好的方法方式是建立相应指标，来进行准确描述，有了准确指标进行监控，方能易于实现我们设定目标。先将指标介绍下，方便下面相关术语使用，qps即每秒处理请求数，是一个机器性能重要描述指标，通过它我们知道单个容器能处理最大请求数。目前JD所有线上服务均在Docker容器中运行。 tp

2017-12-17 12:57:17 799

原创个性化推荐系统（八）--- 机器学习深度学习召回集扩量

个性化推荐系统评价有两个重要指标，一个是召回率一个是准确率。召回率就是：召回率=提取正确信息条数/样本中信息条数。准确率就是：准确率=提取出正确信息条数/提取信息条数。召回率大小直接影响准确率，直接影响机器学习模型、深度学习模型线上效果。模型实时计算第一步是模型上线，将spark、TensorFlow训练模型通过实时加载，使用到线上实时CTR点击量

2017-12-15 09:26:20 1652

原创个性化推荐系统（七）--- ABTest ab测试平台

个性化推荐系统、搜索引擎、广告系统，这些系统都需要在线上不断上线，不断优化，优化之后怎么确定是好是坏。这时就需要ABTest来确定，最近想的办法、优化的算法、优化的逻辑数据是正向的，是有意义的，是提升数据效果的。 ab需求能方便测试，提供界面快速调整流量，调整流量后能够方便看效果变化，以及不同ab分支算法对比到底是a算法好、还是b算法好、还是c算法好。再有就是

2017-12-10 08:24:38 7380

原创个性化推荐系统（六）--- 超大数量业务个性化实战

线上系统有些业务是每天几百篇增量数据个性化，或者是运营每天选定几百、几千个商品sku池子个性化，这种是比较好进行存储管理以及实现的。全站数据进行个性化，每个人相关数据一般就只有几个几十个多个上百个，这个量级数据还可以缓存存储，可以存下来的。几亿sku全部存储，几十亿上百亿评论数据，这么大数据量怎样存储怎样使用是个难题。redis缓存全部评论信息并且存储几十个字段详情信息，整个存储将

2017-12-01 14:14:02 1115

原创个性化推荐系统（五）---电商双11大促研发备战

今天已到10月下旬一年一度电商双11大促即将开始，是电子商务公司一年最大促销活动，是重中之重。对于线上服务来说，是一次流量大考，对研发来说是一次技术提升机会。做好应对高并发、大流量准备，是件必须要做必须做成的事情。个性化推荐系统又与其他系统有着相似大流量考验，还有一些和其他业务系统差异地方。核心交易系统更多面临高并发交易可用性，高并发交易不出错，系统稳定性。个性化推荐面临问题

2017-11-24 18:11:16 1097

原创个性化推荐系统（四）--- 推荐系统服务端

推荐系统怎样稳定高效提供服务，持续不断满足业务需求，持续不断面对技术挑战，是每一个服务端开发同学应该持续思考，和持续不断优化线上服务。以前我们开发的程序更多的是网站，并且以单体服务形式构建，好处是整个程序一次构建，维护方便，但当公司发展后，组织机构变大，程序由多个人维护，单体程序维护成本高，难于修改，难于持续升级问题就暴漏了出来。影响了线上业务持续发展，产品需求及时上线。

2017-11-22 13:08:38 1524

原创个性化推荐系统（三）---推荐系统意义一点思考

个性化推荐是随着移动互联网发展不断发展起来的，国内应用个性化推荐技术最早应该是豆瓣，在web2.0兴起时做了很多尝试，给网民带来很多新鲜感觉、体验。后来是国外电影租赁网站netflex推波助澜，再到今日头条火热、电商巨头亚马逊对于个性化推荐背书、微博Feed流对于个性化推波助澜。杉枫了解到历史是这个样子的，对于这个领域早有关注，直到去年开始从事相关技术研发工作。杉枫认为个性

2017-11-21 16:32:14 8416

原创个性化推荐系统（二）---构建推荐引擎

当下推荐系统包含的层级特别的多，整个线上推荐系统包含：最上层线上推荐服务、中层各个推荐数据召回集（数据主题、分类池子）、底层各种推荐模型。推荐系统介入线上各种业务，推荐系统当下已经介入内容方面：文章、问答、评论等各个业务系统，商品sku：纯商品、消息push、素材，混合多个业务同时推荐。如此多得业务每个业务开发一套相似的代码也是可以的但缺点是投入极大，并且每个业务代码都

2017-11-20 19:51:18 719

原创个性化推荐系统(一)---今日头条等的内容划分、分类

这篇文章搞头条号、运营知乎等流量的可以看看，可以让你了解到你的文章是怎么被推荐的、通过很好的配合头条、知乎等的技术架构、机制可以增加你文章的曝光。今日头条以前进入各大app的流量主要被几部分刮分，一个是app内搜索、一个是固定频道、、一个是用户在闲逛。当前各大app、无论是电商、知乎、新闻等流量一部分还是app内部搜索，另外大头就是各大频道、内容、问答板块都被个性化推荐把持。

2017-11-01 18:54:11 4048

liubaofeng04065034的博客