关注
分享
贾红平
本人喜欢技术,一致从事于大数据搜索推荐系统架构及其相关工作,最近几年开始熟悉人工智能和机器学习领域,擅长高可用高并发系统架构设计..技术的追求从没有停止过..
展开
-
微博-百亿级日访问量的应用如何做缓存架构设计
本文由新浪微博技术专家陈波老师，分为如下四个部分跟大家详细讲解那些庞大的数据都是如何呈现的：微博在运行过程中的数据挑战Feed 平台系统架构Cache 架构及演进总结与展望微博在运行过程中的数据挑战Feed 平台系统架构Feed 平台系统架构总共分为五层：最上面是端层，比如 Web 端、客户端、大家用的 iOS 或安卓的一些客户端，还有一些开放平台、第三方接入的一些接口。下一层是平台接入层，不同的...转载 2018-06-21 17:08:26 · 753 阅读 · 0 评论 -
美团-前期推荐算法实践
前言推荐系统并不是新鲜的事物，在很久之前就存在，但是推荐系统真正进入人们的视野，并且作为一个重要的模块存在于各个互联网公司，还是近几年的事情。随着互联网的深入发展，越来越多的信息在互联网上传播，产生了严重的信息过载。如果不采用一定的手段，用户很难从如此多的信息流中找到对自己有价值的信息。解决信息过载有几种手段：一种是搜索，当用户有了明确的信息需求意图后，将意图转换为几个简短的词或者短语的组合（即q...转载 2018-06-22 01:37:41 · 711 阅读 · 0 评论 -
美团-分布式会话跟踪系统架构设计与实践
前言随着美团点评的业务发展，公司的分布式系统变得越来越复杂，我们亟需一个工具能够梳理内部服务之间的关系，感知上下游服务的形态。比如一次请求的流量从哪个服务而来、最终落到了哪个服务中去？服务之间是RPC调用，还是HTTP调用？一次分布式请求中的瓶颈节点是哪一个，等等。简介MTrace，美团点评内部的分布式会话跟踪系统，其核心理念就是调用链：通过一个全局的ID将分布在各个服务节点上的同一次请求串联起来...转载 2018-06-22 01:37:52 · 926 阅读 · 2 评论 -
美团-自定义规则引擎中间件
引言2016年07月恰逢美团点评的业务进入“下半场”，需要我们在各个环节优化体验、提升效率、降低成本。技术团队需要怎么做来适应这个变化？这个问题直接影响着之后的工作思路。美团外卖的CRM业务步入成熟期，规则类需求几乎撑起了这个业务所有需求的半边天。一方面规则唯一不变的是“多变”，另一方面开发团队对“规则开发”的感受是乏味、疲惫和缺乏技术含量。如何解决规则开发的效率问题，最大化解放开发团队成为目前的...转载 2018-06-22 01:38:02 · 9966 阅读 · 4 评论 -
美团-点评业务风控系统构建经验
背景美团最初以团购的形式出现，到现在有了很大的业务形态转变。尤其是经过与大众点评的业务融合，从单一业务发展成了覆盖到店餐饮、到店综合、猫眼、外卖、酒店、旅游等多个垂直领域的综合性电商，并且在各个领域都处于行业领先的地位。在这背后，美团点评不仅面临激烈的行业竞争，还有黑色产业（以下简称“黑产”）带来的各种风险，因为我们的业务有这样一些特点：品类多、覆盖面广：包括几乎所有吃喝玩乐服务，其中不乏容易被销...转载 2018-06-22 01:38:36 · 1151 阅读 · 0 评论 -
美团-深度学习在点评推荐平台排序中的运用
团点评作为国内最大的生活服务平台，业务种类涉及食、住、行、玩、乐等领域，致力于让大家吃得更好，活得更好，有数亿用户以及丰富的用户行为。随着业务的飞速发展，美团点评的用户和商户数在快速增长。在这样的背景下，通过对推荐算法的优化，可以更好的给用户提供感兴趣的内容，帮用户更快速方便的找到所求。我们目标是根据用户的兴趣及行为，向用户推荐感兴趣的内容，打造一个高精准性、高丰富度且让用户感到欣喜的推荐系统。为...转载 2018-06-22 01:38:47 · 441 阅读 · 0 评论 -
美团-深度学习及AR在移动端打车场景下的应用
前言2017年在移动端直接应用AI算法成为一种主流方向。Apple也在WWDC 2017上重磅推出Core ML框架。准备Hackathon的过程中，我们就想能否基于Core ML的深度学习能力，结合AR，做酷一点的产品。我们观察到在晚上下班时间，是公司的打车高峰时段，这时候经常会有一堆车在黑暗中打着双闪，你很难通过辨认车牌去找到你叫的专车，所以我们把产品定向为一个打车时帮助用户找到车的App。很...转载 2018-06-22 01:39:17 · 356 阅读 · 0 评论 -
美团-外卖骑手背后的AI技术
背景随着数字化时代的到来，外卖市场近年来发展非常迅猛。对外卖物流系统而言，配送效率和用户体验至关重要。而实际配送过程是由配送员（骑手）最终完成的，因此，想要真正提升配送效率，不但要在智能调度系统（订单指派、路径规划、ETA）上下功夫，还要不断提升配送员的“附加”能力，让他们越送越“熟”，越送越“顺”，越送越“快”。以此为出发点，美团点评研发团队设计了骑手智能助手，全面提升骑手的各方面能力。在 1月...转载 2018-06-23 11:33:38 · 1131 阅读 · 0 评论 -
美团-猜你喜欢”深度学习排序模型实践
一. 引言推荐作为解决信息过载和挖掘用户潜在需求的技术手段，在美团点评这样业务丰富的生活服务电子商务平台，发挥着重要的作用。在美团App里，首页的“猜你喜欢”、运营区、酒店旅游推荐等重要的业务场景，都是推荐的用武之地。图1 美团首页“猜你喜欢”场景目前，深度学习模型凭借其强大的表达能力和灵活的网络结构在诸多领域取得了重大突破，美团平台拥有海量的用户与商家数据，以及丰富的产品使用场景，也为深度学习的...转载 2018-06-23 11:33:50 · 527 阅读 · 0 评论 -
美团-使用TensorFlow训练WDL模型性能问题定位与调优
简介TensorFlow是Google研发的第二代人工智能学习系统，能够处理多种深度学习算法模型，以功能强大和高可扩展性而著称。TensorFlow完全开源，所以很多公司都在使用，但是美团点评在使用分布式TensorFlow训练WDL模型时，发现训练速度很慢，难以满足业务需求。经过对TensorFlow框架和Hadoop的分析定位，发现在数据输入、集群网络和计算内存分配等层面出现性能瓶颈。主要原因...转载 2018-06-23 11:34:07 · 826 阅读 · 0 评论 -
美团-酒旅实时数据规则引擎应用实践
背景美团点评酒旅运营需求在离线场景下，已经得到了较为系统化的支持，通过对离线数据收集、挖掘，可对目标用户进行T+1触达，通过向目标用户发送Push等多种方式，在一定程度上提高转化率。但T+1本身的延迟性会导致用户在产生特定行为时不能被实时触达，无法充分发挥数据的价值，取得更优的运营效果。在此背景下，运营业务需要着手挖掘用户行为实时数据，如实时浏览、下单、退款、搜索等，对满足运营需求用户进行实时触达...转载 2018-06-23 11:34:25 · 1357 阅读 · 0 评论 -
美团-点评广告实时索引的设计与实现
背景在线广告是互联网行业常见的商业变现方式。从工程角度看，广告索引的结构和实现方式直接决定了整个系统的服务性能。本文以美团点评的搜索广告系统为蓝本，与读者一起探讨广告系统的工程奥秘。领域问题广告索引需具备以下基本特性：层次化的索引结构实时化的索引更新层次投放模型一般地，广告系统可抽象为如下投放模型，并实现检索、过滤等处理逻辑。该层次结构的上下层之间是一对多的关系。一个广告主通常创建若干个推广计划，...转载 2018-06-23 11:35:12 · 700 阅读 · 0 评论 -
美团-SQL解析在美团点评中的应用
数据库作为核心的基础组件，是需要重点保护的对象。任何一个线上的不慎操作，都有可能给数据库带来严重的故障，从而给业务造成巨大的损失。为了避免这种损失，一般会在管理上下功夫。比如为研发人员制定数据库开发规范；新上线的SQL，需要DBA进行审核；维护操作需要经过领导审批等等。而且如果希望能够有效地管理这些措施，需要有效的数据库培训，还需要DBA细心的进行SQL审核。很多中小型创业公司，可以通过设定规范、...转载 2018-06-23 11:35:26 · 1047 阅读 · 0 评论 -
美团-深度学习在搜索广告排序的应用实践
一、前言在计算广告场景中，需要平衡和优化三个参与方——用户、广告主、平台的关键指标，而预估点击率CTR（Click-through Rate）和转化率CVR（Conversion Rate）是其中非常重要的一环，准确地预估CTR和CVR对于提高流量变现效率，提升广告主ROI（Return on Investment），保证用户体验等都有重要的指导作用。传统的CTR/CVR预估，典型的机器学习方法包...转载 2018-06-21 17:20:23 · 418 阅读 · 0 评论 -
美团-实时数据产品实践之大交通战场沙盘
背景大数据时代，数据的重要性不言而喻，尤其对于互联网公司，随着业务的快速变化，商业模式的不断创新、用户体验个性化、实时化需求日益突出，海量数据实时处理在商业方面的需求越来越大。如何通过数据快速分析出用户的行为，以便做出准确的决策，越来越体现一个公司的价值。现阶段对于实时数据的建设比较单一，主要存在以下问题：实时仓库建设不足，维度及指标不够丰富，无法快速满足不同业务需求。实时数据和离线数据对比不灵活...转载 2018-06-21 17:17:59 · 508 阅读 · 0 评论 -
美团-百亿用户行为数据，美团点评怎么实现秒级转化分析
用户行为分析是数据分析中非常重要的一项内容，在统计活跃用户，分析留存和转化率，改进产品体验、推动用户增长等领域有重要作用。美团点评每天收集的用户行为日志达到数百亿条，如何在海量数据集上实现对用户行为的快速灵活分析，成为一个巨大的挑战。为此，我们提出并实现了一套面向海量数据的用户行为分析解决方案，将单次分析的耗时从小时级降低到秒级，极大的改善了分析体验，提升了分析人员的工作效率。本文以有序漏斗的需求...转载 2018-06-22 01:37:25 · 4826 阅读 · 0 评论