美团技术团队

10000+工程师,如何支撑中国领先的生活服务电子商务平台?3.2亿消费者、500万商户、2000多个行业、几千亿交易额背后是哪些技术?这里是美团、大众点评、美团外卖、美团大零售等技术团队的对外窗口,每周推送技术文章等

  • 博客(763)
  • 收藏
  • 关注

原创 通用目标检测开源框架YOLOv6在美团的量化部署实战

总第537篇2022年 第054篇基于美团目标检测模型开源框架 YOLOv6,本文介绍了一种通用的量化部署方案,在保持精度的同时大幅提升了检测的速度,为通用检测的工业化部署探索出一条可行之路,希望能给大家带来一些启发或者帮助。1. 背景和难点2. 量化方案实战2.1 重参数化优化器2.2 基于量化敏感度分析的部分量化2.3 基于通道蒸馏的量化感知训练3. 部署时优化3.1 图优化3.1.4 性能测...

2022-09-22 19:58:11 46

转载 数字化新业态下数据安全创新——Token化

总第538篇2022年 第055篇数据安全最大的挑战是高速扩张前提下,解决数据暴露性问题。Token化让安全成为数据默认属性,让安全性随数据自动扩展,从根本上解决效率和安全合规的矛盾,实现设计安全和默认安全。本文主要介绍了Token化方案、Token化安全性实现以及美团所做的一些工程实践和经验分享。0. 引言1. 数据科技对安全的挑战2. Token化-数字世界银行体系3. Token化方案介绍...

2022-09-22 19:58:11 25

原创 目标检测开源框架YOLOv6全面升级,更快更准的2.0版本来啦

9月5日,美团视觉智能部发布了YOLOv6 2.0版本,本次更新对轻量级网络进行了全面升级,量化版模型 YOLOv6-S 达到了 869 FPS,同时,还推出了综合性能优异的中大型网络(YOLOv6-M/L),丰富了YOLOv6网络系列。YOLOv6 支持检测模型训练、评估、预测以及模型量化、蒸馏等全链路开发流程,同时支持 GPU(TensorRT)、CPU(OPENVINO)、ARM(MNN、TNN、NCNN)等不同平台的部署,极大简化工程部署时的适配工作。| 本文系美团技术团队出品,著作权归属美团。

2022-09-19 10:44:46 193

原创 美团隐私计算平台通过行业权威认证

近日,在2022年隐私计算大会上,中国信通院公布第六批可信隐私计算评测结果,美团隐私计算平台通过“联邦学习安全”和“多方安全计算基础能力”两个专项评测认证。2021年,美团已经通过“联邦学习基础能力”专项评测认证。通过这三项认证标志着美团隐私计算平台(产品名为“四方街”)提供的数据安全流通技术方案,能够通过多方安全计算和联邦学习能力,服务于金融、医疗、政务、营销等场景下的数据融合需求,支持数据需求...

2022-09-15 19:58:13 276

原创 干货整理 | 美团技术团队8小时技术直播都讲了啥

总第533篇2022年 第050篇近日,「美团请回答」进行了8小时不间断技术直播准时收看的同学已经抢先一步Get了技术资讯而错过节目的你……也不必担心因为我们为你准备了干货满满的回顾帮你了解美团的8大技术方向各个方向的职业发展以及面试建议|招聘岗位:测试开发工程师|参与嘉宾:|超轶:美团到店事业群研究员,科幻迷兼职软件工程师。|王子:2021届校招生,十年FPS游戏玩家,沉迷吸猫,秋招10...

2022-09-08 19:58:39 192

原创 基于AI算法的数据库异常监测系统的设计与实现

美团数据库平台研发组,面临日益急迫的数据库异常发现需求,为了更加快速、智能地发现、定位和止损,我们开发了基于AI算法的数据库异常检测服务。本文从特征分析、算法选型、模型训练与实时检测等维度介绍了我们的一些实践和思考,希望为从事相关工作的同学带来一些启发或者帮助。

2022-09-06 11:25:27 216

原创 Replication(上):常见的复制模型&分布式系统的挑战

总第530篇2022年 第047篇分布式系统设计是一项十分复杂且具有挑战性的事情。其中,数据复制与一致性更是其中十分重要的一环。数据复制领域概念庞杂、理论性强,如果对应的算法没有理论验证大概率会出错。如果在设计过程中,不了解对应理论所解决的问题以及不同理论之间的联系,势必无法设计出一个合理的分布式系统。本系列文章分上下两篇,以《数据密集型应用系统设计(DDIA)》(下文简称《DDIA》)为主线,文......

2022-08-25 19:58:32 433

原创 Replication(下):事务,一致性与共识

总第531篇2022年 第048篇本文主要介绍事务、一致性以及共识,首先会介绍它们怎么在分布式系统中起作用,然后将尝试描述它们之间的内在联系,让大家了解,在设计分布式系统时也是有一定的“套路”可寻。最后,会介绍业界验证分布式算法的一些工具和框架,希望能够对大家有所帮助或者启发。1. 前文回顾2. 本文简介3. 事务&外部一致性3.1 事务的产生3.2 不厌其烦——ACID特性3.3 事务按......

2022-08-25 19:58:32 475

原创 现场拆题+直通面试 | 美团技术校招直播来了!

美团技术团队有8大「通道」,也就是8个不同的技术方向,大家是否偶尔疑惑,各个通道有着怎样不同的职场发展和个人成长路线?8小时超长直播,美团技术团队的通道委员和学长将为大家解疑答惑。

2022-08-24 10:29:58 224 1

原创 KDD 2022 | 美团技术团队精选论文解读

总第529篇2022年 第046篇今年,美团技术团队有多篇论文被KDD 2022收录,这些论文涵盖了图谱预训练、选择算法、意图自动发现、效果建模、策略学习、概率预测、奖励框架等多个技术领域。本文精选了7篇论文做简要介绍(附下载链接,论文排名不分先后),希望能对从事相关研究方向的同学有所帮助或启发。论文01:Mask and Reason: Pre-Training Knowledge Graph ...

2022-08-18 19:58:06 553

原创 美团搜索粗排优化的探索与实践

众所周知,在搜索、推荐、广告等大规模工业界应用领域,为了平衡性能和效果,排序系统普遍采用级联架构[1,2],如下图 1 所示。以美团搜索排序系统为例,整个排序分为粗排、精排、重排和混排层;粗排位于召回和精排之间,需要从千级别候选 item 集合中筛选出百级别 item 集合送给精排层。样本选择偏差:级联排序系统下,粗排离最后的结果展示环节较远,导致粗排模型离线训练样本空间与待预测的样本空间存在较大的差异,存在严重的样本选择偏差。粗排精排联动。...

2022-08-12 16:13:08 236 2

原创 提升资源利用率与保障服务质量,鱼与熊掌不可兼得?

总第527篇2022年 第044篇美团Hulk调度系统团队在集群服务质量与资源利用率运营的长期落地实践中,基于业务实际场景,自主设计研发了集群负载自动调控系统(LAR)以及配套的运营体系,在提升集群整体资源利用率的同时保障了业务服务质量。本文介绍了LAR的设计理念、基本框架以及核心设计,并结合在线和混部场景应用展开思考,并展示了部分落地成果。希望能为从事相关工作的同学带来......

2022-08-11 19:58:02 1087

原创 Kafka在美团数据平台的实践

总第526篇2022年 第043篇Kafka在美团数据平台承担着统一的数据缓存和分发的角色,随着数据量的增长,集群规模的扩大,Kafka面临的挑战也愈发严峻。本文分享了美团Kafka面临的实际挑战,以及美团针对性的一些优化工作,希望能给从事相关开发工作的同学带来帮助或启发。1. 现状和挑战1.1 现状1.2 挑战2. 读写延迟优化2.1 概览2.2 应用层2.3 系统层2......

2022-08-04 19:58:03 1098 2

转载 招5000人!美团2023届校园招聘全面启动

2022-08-04 19:58:03 189

原创 日志导致线程Block的这些坑,你不得不防

总第525篇2022年 第042篇研发人员在项目开发中不可避免地要使用日志,通过它来记录信息和排查问题。Apache Log4j2提供了灵活且强大的日志框架,虽然上手比较快,但稍有不慎也非常容易踩“坑”。本文介绍了美团统一API网关服务Shepherd在实践中所踩过的关于日志导致线程Block的那些“坑”,以及我们如何从日志框架源码层面进行分析和解决问题的过程,并在最后给......

2022-07-28 19:58:55 395

原创 可视化全链路日志追踪

总第523篇2022年 第040篇可观测性作为系统高可用的重要保障,已经成为系统建设中不可或缺的一环。然而随着业务逻辑的日益复杂,传统的ELK方案在日志搜集、筛选和分析等方面愈加耗时耗力,而分布式会话跟踪方案虽然基于追踪能力完善了日志的串联,但更聚焦于调用链路,也难以直接应用于高效的业务追踪。本文介绍了可视化全链路日志追踪的新方案,它以业务链路为载体,通过有效组织业务每次......

2022-07-21 19:58:56 600

原创 ACM SIGIR 2022 | 美团技术团队精选论文解读

总第524篇2022年 第041篇今年,美团技术团队有多篇论文被ACM SIGIR 2022收录,这些论文涵盖了观点标签生成、跨域情感分类、对话摘要领域迁移、跨域检索、点击率预估、对话主题分割等多个技术领域。本文精选了10篇论文做简要介绍(附下载链接),希望能对从事相关研究的同学有所帮助或启发。SIGIR是信息检索方向的国际顶级会议(CCF-A类)。第 45 届国际信息检......

2022-07-21 19:58:56 261

原创 工程效能CI/CD之流水线引擎的建设实践

总第522篇2022年 第039篇经过近3年的建设打磨,美团流水线引擎完成了服务端的基建统一,每日支撑近十万次的流水线执行量,系统成功率保持在99.99%以上。本文主要介绍美团在自研引擎建设层面遇到的挑战以及解决方案。希望对大家能够有所帮助或启发。1. 背景2. 问题及思路2.1 业务介绍2.2 主要挑战2.3 解决思路3. 整体架构4. 核心设计点4.1 作业调度设计4......

2022-07-14 19:58:46 307

原创 外卖广告大规模深度学习模型工程实践

总第520篇2022年 第037篇在外卖广告CTR场景下,深度学习模型正在从简单DNN小模型过渡到千亿参数复杂模型。基于该背景,本文将重点针对大规模深度模型在全链路带来的挑战,从在线时延、离线效率两个方面展开,阐述外卖广告在大规模深度模型上的工程实践经验,希望能为读者提供思路上的借鉴。导语1 背景2 分析3 模型推理3.1 分布式3.2 CPU加速3.3 GPU加速4 特......

2022-07-06 19:58:29 378

原创 大众点评搜索相关性技术探索与实践

总第521篇2022年 第038篇搜索相关性用于衡量Query和Doc的相关程度,是搜索引擎的重要环节,本文主要讲述大众点评搜索团队在相关性计算上的技术探索和实践,通过多相似矩阵模型结构、多阶段训练等方法提升预训练模型在相关性问题上的效果,同时解决基于交互的模型在线预测的性能问题,希望为从事相关工作的同学能够带来一些启发或者帮助。1. 背景2. 搜索相关性现有技术3. 点......

2022-07-06 19:58:29 288

原创 CVPR 2022 | 美团技术团队精选论文解读

总第519篇2022年 第036篇计算机视觉国际顶会CVPR 2022近日在美国新奥尔良召开,今年美团技术团队有多篇论文被CVPR 2022收录,这些论文涵盖了模型压缩、视频目标分割、3D视觉定位、图像描述、模型安全、跨模态视频内容检索等研究领域。本文将对6篇精选的论文做简要的介绍(附下载链接),希望能对从事相关研究的同学有所帮助或启发。Paper 01 | Compre......

2022-06-23 19:58:40 654 2

原创 YOLOv6:又快又准的目标检测框架开源啦

总第518篇2022年 第035篇近日,美团视觉智能部研发了一款致力于工业应用的目标检测框架 YOLOv6,能够同时专注于检测的精度和推理效率。在研发过程中,视觉智能部不断进行了探索和优化,同时吸取借鉴了学术界和工业界的一些前沿进展和科研成果。在目标检测权威数据集 COCO 上的实验结果显示,YOLOv6 在检测精度和速度方面均超越其他同体量的算法,同时支持多种不同平台的......

2022-06-23 19:58:40 6974 10

原创 美团综合业务推荐系统的质量模型及实践

总第516篇2022年 第033篇推荐系统是效果导向的数据应用服务,在功能的“有”和“无”之间,有很长的效果“好”和“坏”的光谱。本文以用户请求的粒度建立质量模型,通过数据血缘关联了数据表、算法模型、系统服务和用户请求,并结合美团综合业务的实践进行了拓展泛化,希望能对大家有所帮助或启发。1 前言2 现状分析3 建设思路3.1 业务语境下的质量3.2 缺陷的考量和选择3.3......

2022-06-16 19:58:14 416

原创 美团获得小样本学习榜单FewCLUE第一!Prompt Learning+自训练实战

总第515篇2022年 第032篇近日,美团搜索与NLP部NLP中心语义理解团队的小样本学习模型FSL++在中文小样本语言理解权威评测基准FewCLUE榜单登顶,在自然语言推理(OCNLI)单任务中取得第一,并在极少数样本(一个类别仅100余个)的条件下,在新闻分类(TNEWS)、科学文献学科分类(CSLDCP)任务上超过了人类识别精确度。1 概述2 方法介绍2.1 增强......

2022-06-09 19:58:33 578

原创 数据库全量SQL分析与审计系统性能优化之旅

总第514篇2022年 第031篇全量SQL(所有访问数据库的SQL)可以有效地帮助安全进行数据库审计,帮助业务快速排查性能问题。一般可通过开启genlog日志或者启动MySQL审计插件方式来进行获取,而美团选用了一种非侵入式的旁路抓包方案,使用Go语言实现。无论采用哪种方案,都需要重点关注它对数据库的性能损耗。本文介绍了美团基础研发平台抓包方案在数据库审计实践中遇到的性......

2022-06-09 19:58:33 250 2

原创 Android对so体积优化的探索与实践

总第513篇2022年 第030篇减小应用安装包的体积,对提升用户体验和下载转化率都大有益处。本文将结合美团平台的实践经验,分享 so 体积优化的思路、收益,以及工程实践中的注意事项。本文将先从 so 文件格式讲起,结合文件格式分析哪些内容可以优化,然后再具体讲解每项优化手段以及注意事项,最后介绍相关的工程实践经验。希望能对从事包体积优化的同学有所帮助或启发。1. 背景2......

2022-06-02 19:58:25 457

转载 ICRA 2022最佳论文出炉:美团无人机团队获唯一最佳导航论文奖

在刚刚结束的 ICRA 2022 上,来自美团无人机团队的研究人员拿到了导航领域的年度最佳论文。本文转载自机器之心公众号。国际机器人技术与自动化会议 ICRA 2022 于 5 月 23 日至 5 月 27 日在美举办,这是 Robotics(机器人学)领域最顶级的国际会议之一。今年大会共收到 3344 份投稿,其中的 3263 份进入了审稿阶段,1428 篇被接收,接收...

2022-06-02 19:58:25 236

转载 倒计时3天 | 2022年美团科研合作课题公开征集

美团科研合作始于 2019 年,依托丰富业务场景和真实产业问题,连接美团技术团队与学术界,搭建富有效率的产学研合作平台。过去三年,美团与来自国内外三十余所知名高校及科研机构,围绕人工智能、无人驾驶、运筹优化、大数据、信息基础设施等研究领域开展了百余项课题合作,在 NeurIPS、ICML、CVPR、ACL 等顶级会议发表论文,部分合作成果已在美团业务场景落地。2022 年...

2022-05-26 19:58:23 198

原创 对话摘要技术在美团的探索(SIGIR)

总第512篇2022年 第029篇随着互联网产生的文本数据越来越多,文本信息过载问题日益严重,对各类文本进行一个“降维”处理显得非常必要,而文本摘要就是其中一个重要的手段。本文首先介绍了经典的文本摘要方法,随后分析了对话摘要的模型,并分享了美团在真实对话摘要场景中面临的挑战。同时基于实际的场景,本文提出了阅读理解的距离监督Span-Level对话摘要方案(已发表在SIGI...

2022-05-26 19:58:23 328

原创 如何应对开源组件⻛险?软件成分安全分析(SCA)能力的建设与演进

总第511篇2022年 第028篇随着 DevSecOps 概念的推广,以及云原生安全概念的快速普及,研发安全和操作环境安全现在已经变成了近几年非常热的词汇。目前,在系统研发的过程中,开源组件引入的比例越来越高,所以在开源软件治理层面安全部门需要投入更多的精力。但由于早期技术债的问题,很多企业内部在整个研发流程中对使用了哪些开源组件、这些开源组件可能存在哪些严重的安全隐患...

2022-05-26 19:58:23 1263

原创 端智能在大众点评搜索重排序的应用实践

端智能,是指在移动端设备运行人工智能(AI)应用的技术。本文主要讲述大众点评搜索场景下,在端侧部署大规模深度学习模型进行搜索重排序任务的实践方案,包括端上特征工程、模型迭代思路,以及具体部署优化的过程,希望能对从事相关领域开发的同学有所帮助或者启发。1 引言随着大数据、人工智能等信息技术的快速发展,云计算已经无法满足特定场景对数据隐私、高实时性的要求。借鉴边缘计算的思想,在终端部署 AI 能力逐渐步入大众的视野,“端智能”的概念应运而生。相比于传统的云计算,在智能手机等终端部署运行 AI 模块有以下.

2022-05-20 15:50:56 200

原创 美团图神经网络训练框架的实践和探索

总第510篇2022年 第027篇美团搜索与NLP团队在图神经网络的长期落地实践中,基于业务实际场景,自主设计研发了图神经网络框架Tulong,以及配套的图学习平台,提升了模型的规模和迭代效率。本文介绍了模型归纳抽象、基本框架、性能优化,以及上层工具等方面的思考和关键设计,希望为从事相关工作的同学带来启发或者帮助。1. 前言1.1 问题和挑战1.2 美团的解决方案2. 系...

2022-05-19 19:58:21 306

原创 CompletableFuture原理与实践-外卖商家端API的异步化

总第509篇2022年 第026篇CompletableFuture由Java 8提供,是实现异步化的工具类,上手难度较低,且功能强大,支持通过函数式编程的方式对各类操作进行组合编排。相比于ListenableFuture,CompletableFuture有效提升了代码的可读性,解决了“回调地狱”的问题。本文主要讲述CompletableFuture的原理与实践,同时结...

2022-05-12 19:58:00 1045 1

原创 业务数据治理体系化思考与实践

总第508篇2022年 第025篇美团住宿数据治理团队从事数据治理工作多年,从最初的被动、单点治理,发展到后来的主动、专项治理,再发展到现在的体系化、自动化治理。一路走来,他们不断进行积累和沉淀,也在持续思考与实践。目前该团队取得了一些阶段性的成果,并得到美团多个业务线的认可和肯定。过程的经验与教训,希望能和大家分享,也希望能给从事数据治理工作的同学带来一些新思路。一、序...

2022-05-12 19:58:00 616

原创 2022年美团科研合作课题公开征集启动

美团科研合作始于 2019 年,依托丰富业务场景和真实产业问题,连接美团技术团队与学术界,搭建富有效率的产学研合作平台。过去三年,美团与来自国内外三十余所知名高校及科研机构,围绕人工智能、无人驾驶、运筹优化、大数据、信息基础设施等研究领域开展了百余项课题合作,在 NeurIPS、ICML、CVPR、ACL 等顶级会议发表论文,部分合作成果已在美团业务场景落地。2022 年...

2022-05-05 19:58:00 781

原创 数据库异常智能分析与诊断

总第507篇2022年 第024篇DAS(Database Autonomy Service, 数据库自治服务)面向研发和DBA,是一款为用户提供数据库性能分析、故障诊断、安全管理等功能的数据库自治服务。DAS利用大数据手段、机器学习、专家经验,帮助用户消除数据库管理的复杂性及人工操作引发的服务故障,有效保障数据库服务的稳定和高效运行。本文主要讲述DAS的历史背景、演进策...

2022-05-05 19:58:00 420

原创 标准化思想及组装式架构在后端BFF中的实践

总第505篇2022年 第022篇进入互联网“下半场”,靠“堆人力”的研发方式已经不再具备竞争力了,真正可行且有效的方式是让系统能力变得可沉淀、可组合复用、可灵活应对各种变化。在多业态、大规模定制需求的背景下,本文分享了如何通过组装式开发的方法来提升业务的竞争力。1. 前言2. 背景与问题2.1 业务背景2.2 研发挑战3. 问题分析与解决思路3.1 问题思考3.2 标准...

2022-04-28 19:59:54 526

原创 美团外卖广告智能算力的探索与实践(二)

总第506篇2022年 第023篇在深度学习时代,算力的需求和消耗日益增长,如何降低算力成本,提高算力效率,逐渐成为一个重要的新课题。智能算力旨在对流量算力进行精细化和个性化分配,从而实现系统算力约束下的业务收益最大化。本文主要介绍了美团外卖广告智能算力从线性规划算法到进化算法的技术演进过程,给出了一种基于进化算法的多动作算力分配方案,希望能给大家带来一些帮助或者启发。1...

2022-04-28 19:59:54 363

原创 基于代价的慢查询优化建议

对于数据库来说,慢查询往往意味着风险。SQL执行得越慢,消耗的CPU资源或IO资源也会越大。大量的慢查询可直接引发业务故障,关注慢查询即是关注故障本身。本文主要介绍了美团如何利用数据库的代价优化器来优化慢查询,并给出索引建议,评估跟踪建议质量,运营治理慢查询。1 背景慢查询是指数据库中查询时间超过指定阈值(美团设置为100ms)的SQL,它是数据库的性能杀手,也是业务优化数据库访问的重要抓手。随着美团业务的高速增长,日均慢查询量已经过亿条,此前因慢查询导致的故障约占数据库故障总数的10%以上,而且高.

2022-04-26 07:51:02 384 1

原创 Linux下跨语言调用C++实践

不同的开发语言适合不同的领域,例如Python适合做数据分析,C++适合做系统的底层开发,假如它们需要用到相同功能的基础组件,组件使用多种语言分别开发的话,不仅增加了开发和维护成本,而且不能确保多种语言间在处理效果上是一致的。本文讲述在Linux系统下跨语言调用的实践总结,即开发一次C++语言的组件,其他语言通过跨语言调用技术调用C++组件。1 背景介绍查询理解(QU, Query Understanding)是美团搜索的核心模块,主要职责是理解用户查询,生成查询意图、成分、改写等基础信号,应用于搜.

2022-04-26 07:45:34 520

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除