![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大厂设计
Simple_Zz
这个作者很懒,什么都没留下…
展开
-
搜狐新闻算法原理
[转载:搜狐新闻推荐算法原理] 导读 在当前这个移动互联网时代,各种信息内容爆炸,面对海量数据,用户希望在有限的时间和空间内,找到自己感兴趣的内容,这就是推荐需要解决的问题。接下来主要讲解新闻推荐的算法原理。 01.新闻推荐算法架构 新闻算法的核心主要分为两个阶段:召回阶段(retrieval)和排序阶段(ranking)。之所以分为两个阶段,主要是从性能考虑。召回阶...转载 2018-08-30 16:18:49 · 1722 阅读 · 0 评论 -
【开发实践】美团为什么开发 Kylin On Druid(上)
在大数据分析领域,Apache Kylin 和 Apache Druid (incubating) 是两个普遍使用的 OLAP 引擎,都具有支持在超大数据上进行快速查询的能力。在一些对大数据分析非常依赖的企业,往往同时运行着 Kylin 和 Druid 两套系统,服务于不同的业务场景。 在2018年8月的 Apache Kylin Meetup 活动上,美团点评技术团队分享了他们的 Kylin...转载 2018-12-26 17:46:24 · 491 阅读 · 0 评论 -
美团大数据平台
今天给大家介绍的内容主要包括以下四个部分首先是介绍一下美团大数据平台的架构,然后回顾一下历史,看整个平台演进的时间演进线,每一步是怎么做的,以及一些挑战和应对策略,最后总结一下,聊一聊我对平台化的看法。 谢语宸是来自美团的大数据构建平台的架构师。他在QCon2016北京站分享了一些整体上构建大数据平台的方法,除了聚焦在某一个点上的还有构建整体的大数据,以及各种各样技术的应用,希望能给大家...转载 2018-11-02 10:54:33 · 15507 阅读 · 3 评论 -
饿了么大数据平台建设
大数据平台现状饿了么的大数据平台团队成立于2015年5月份左右,在16年4月份,Hadoop集群规模还只在100+节点数,而在一年时间里集群规模快速增长到1000+的水平,这还是在引入数据生命周期进行管控的情况下的规模增速;同样,流计算集群的规模虽然相对较小,但也经历了10倍的增长,一些topic的吞吐量已超过百万每秒。当前平台部分的逻辑架构如图1,并持续演进。 饿了么大数据平台的...转载 2018-09-27 10:17:49 · 1048 阅读 · 0 评论 -
饿了么大数据计算引擎实践与应用
饿了么BDI-大数据平台研发团队目前共有20人左右,主要负责离线&实时Infra和平台工具开发。其中6人的离线团队需要维护大数据集群规模如下:Hadoop集群规模1300+ HDFS存量数据40+PB,Read 3.5 PB+/天,Write 500TB+/天 14W MR Job/天,10W Spark Job/天,25W Presto/天此外还需要维护Hadoop、Spark...转载 2018-09-27 10:04:13 · 1010 阅读 · 0 评论 -
小红书 算法简介
小红书作为中国乃至全球独一无二的社区电商,目标是让全世界的好生活触手可及,那么如何帮助用户在社区里发现好生活,又如何引导用户找到值得剁手的好产品呢?本文整理自 ArchSummit 深圳演讲,探讨如何运用机器学习和人工智能,帮助小红书不到 10 人的算法团队快速接近目标。我们由此篇文章会了解到:1. 在电商场景中的人工智能应用实例。2. 深度学习在电商内容搜索,推荐中的应用前景。3. 如何在...转载 2018-10-03 16:17:21 · 16899 阅读 · 2 评论 -
网易云音乐 推荐算法
本篇文章我们从网易云音乐的推荐功能出发,结合我的实习工作,聊一聊互联网的常用推荐策略。 首先来回顾一下云音乐的推荐功能。 网易云音乐推荐 音乐推荐是创始人丁磊先生愿景最直接的体现,也是网易云音乐的主推功能和核心竞争力所在,备受用户推崇。 推荐算法简单说就是在海量的用户数据(行为记录等)中对用户进行划分,对同一群体的用户推荐其他用户喜欢的音乐。 这其...转载 2018-10-03 15:58:01 · 3450 阅读 · 0 评论 -
58同城推荐系统设计与实现
58同城智能推荐系统大约诞生于2014年(C++实现),该套系统先后经历了招聘、房产、二手车、黄页和二手物品等产品线的推荐业务迭代,但该系统耦合性高,难以适应推荐策略的快速迭代。58同城APP猜你喜欢推荐和推送项目在2016年快速迭代,产出了一套基于微服务架构的推荐系统(Java实现),该系统稳定、高性能且耦合性低,支持推荐策略的快速迭代,大大提高了推荐业务的迭代效率。此后,我们对旧的推荐系统进行...转载 2018-10-03 15:47:15 · 4216 阅读 · 0 评论 -
今日头条算法原理
本文转载自 今日头条算法原理今天,算法分发已经是信息平台、搜索引擎、浏览器、社交软件等几乎所有软件的标配,但同时,算法也开始面临质疑、挑战和误解。今日头条的推荐算法,从2012年9月第一版开发运行至今,已经经过四次大的调整和修改。今日头条委托资深算法架构师曹欢欢博士,公开今日头条的算法原理,以期推动整个行业问诊算法、建言算法;通过让算法透明,来消除各界对算法的误解,并逐步推动整个行业让算...转载 2018-09-04 13:20:09 · 804 阅读 · 0 评论 -
【开发实践】美团为什么开发 Kylin On Druid(下)
在上篇文章里,我们比较了 Kylin 和 Druid 这两个重要的 OLAP引擎的特点,也分析了 Kylin on HBase 的不足,得出了使用 Druid 代替 HBase 作为 Kylin 存储的方案,最后介绍了美团开发的 Kylin on Druid 的架构和流程。在这篇文章中,我们接着上篇文章,将介绍如何使用 Kylin on Druid,Kylin on Druid 的性能表现,以及在...转载 2018-12-27 19:54:36 · 348 阅读 · 1 评论