- 博客(800)
- 收藏
- 关注
原创 超大规模数据库集群保稳系列之二:数据库攻防演练建设实践
本文整理自美团技术沙龙第75期的主题分享《美团数据库攻防演练建设实践》,系超大规模数据库集群保稳系列的第2篇文章。本文首先介绍了美团当前数据库运维现状、遇到的问题,以及为什么要建设数据库攻防演练平台;其次,分享当前数据库攻防演练平台的具体实践;第三部分会介绍数据库攻防演练在美团内部的落地情况;最后,会结合混沌工程的成熟度标准和成熟度等...
2023-05-25 19:58:44
608
原创 Robust 2.0:支持Android R8的升级版热修复框架
2016年,我们对美团Android热更新方案Robust的技术原理做了详细介绍。近几年,Google 推出了新的代码优化混淆工具R8,Android 热修复补丁制作依赖二次构建包和线上包对比,需要对Proguard切换到R8提前进行适配和改造,本文分享 Robust 在适配 R8 以及优化改进中的一些思路和经验,希望能对大家有所帮助或者启发。1. 背景2. 主要...
2023-05-18 19:59:10
326
原创 超大规模数据库集群保稳系列之一:高可用系统
基于过去多年在大规模数据集群保稳方面的实践经验,我们希望能够跟业界进行一些技术交流,美团技术团队举办了第75期技术沙龙。我们邀请到了美团研究员赵应钢担任出品人,同时请邀请到张洪、王占全、蔺瑞超、沈裕锋等4位数据库方向的4位技术专家,围绕进攻、防守、⾃愈、演练等几个方向展开分享。00 出品人说01 高可用简介1.1 面临的挑战1.2 发展历程02 高可用部署2.1 ...
2023-05-11 19:59:01
271
原创 一次「找回」TraceId的问题分析与过程思考
用好中间件是每一个开发人员的基本功,一个专业的开发人员,追求的不仅是中间件的日常使用,还要探究这背后的设计初衷和底层逻辑,进而保证我们的系统运行更加稳定,让开发工作更加高效。结合这一主题,本文从一次线上告警问题出发,通过第一时间定位问题的根本原因,进而引出yu(美团内部自研)这类分布式链路追踪系统的设计思想和实现途径,再回到问题本质深入@Async的源码分析底层的...
2023-04-20 19:59:10
269
原创 低延迟流式语音识别技术在人机语音交互场景中的实践
美团语音交互部针对交互场景下的低延迟语音识别需求,提出了一种全新的低出字延迟流式语音识别方案。本方法将降低延迟问题转换成一个知识蒸馏过程,极大地简化了延迟优化的难度,仅通过一个正则项损失函数就使得模型在训练过程中自动降低出字延迟。在实验测试集上,本方法能够获得最高近 200 毫秒左右的平均出字延迟降低。1. 前言1.1 语音识别技术简介1.2 问题与挑战2. 尖峰...
2023-04-13 19:59:08
268
原创 2021-2022年度美团科研合作评优结果发布
美团科研合作致力于搭建美团技术团队与学术界合作的桥梁,让学术前沿落地应用,让真实场景支撑研究。至今,我们已与数十所知名高校及科研机构的学者,围绕人工智能、自动驾驶、运筹优化、大数据、信息基础设施等领域开展了百余项课题合作;并在相关领域国际会议、期刊发表数百篇论文,在国际顶级赛事多次获得冠亚军,部分合作成果已在美团业务场景中落地。每年,我们都会对合作课题进行详尽回顾,并在累累硕果里优中选优。经过学术...
2023-04-13 19:59:08
120
原创 2023年美团科研合作课题公开征集启动
美团科研合作依托丰富业务场景和真实产业问题,连接美团技术团队与学术界,搭建富有效率的产学研合作平台。过去四年,美团与国内外三十余所知名高校及科研机构,围绕人工智能、自动驾驶、运筹优化、大数据、信息基础设施等研究领域开展了百余项课题合作,在 NeurIPS、ICML、CVPR、ACL、KDD 等顶级会议发表论文,部分合作成果已在美团业务场景落地。2023 年,美团继续开放部分议题进行公开提案征集。欢...
2023-04-06 19:58:43
315
原创 基于AI+数据驱动的慢查询索引推荐
目前,美团内部每天产生的慢查询数量已经超过上亿条。如何高效准确地为慢查询推荐缺失的索引来改善其执行性能,是美团数据库研发中心面临的一项挑战。为此,我们与华东师范大学开展了科研合作,在AI领域对索引推荐进行了探索和实践,并将基于代价的方法和新提出的基于AI+数据驱动的方法共同应用于慢查询的索引推荐,成功提升了推荐效果。1 背景2 索引推荐介绍2.1 基于代价的索引推...
2023-04-06 19:58:43
236
原创 多场景多任务学习在美团到店餐饮推荐的实践
美团到店餐饮算法团队在跨域迁移学习的长期实践中,基于多场景的业务背景,提出了分层信息抽取网络,提升了多场景多任务的建模效果。相关技术方案形成的学术论文已经被国际数据工程会议ICDE 2023收录,本文详细阐述了多场景多任务学习的解决方案,希望能给从事相关方向研究的同学带来一些帮助或启发。
2023-03-24 09:48:14
293
原创 MRCP在美团语音交互中的实践和应用
当你和智能语音机器人对话交互时,你是否好奇电话背后的机器人如何“听懂”你的意思,又如何像人一样“回答”你的问题?其中比较重要的技术就是 MRCP。本文主要介绍了 MRCP 在美团语音交互中的实践和应用,基于美团自研的语音识别及语音合成能力,我们提升了外呼通话的成功率,并且保证了更好的用户体验。一、背景1.1 MRCP 是什么1.2 MRCP 使用场景1.3 美团自...
2023-03-09 19:58:48
346
原创 SOTA!目标检测开源框架YOLOv6 3.0版本来啦
近日,美团视觉智能部发布了 YOLOv6 3.0 版本,再一次将目标检测的综合性能推向新高。YOLOv6-L6 检测精度和速度超越 YOLOv7-E6E,取得当前实时目标检测榜单 SOTA。本文主要介绍了 YOLOv6 3.0 版本中引入的技术创新和优化,希望能为从事相关工作的同学带来一些启发或帮助。1. 概述2. 关键技术介绍2.1 表征能力更强的 RepBi-...
2023-03-02 19:58:47
391
原创 大规模食品图像识别:T-PAMI 2023论文解读
美团基础研发平台视觉智能部与中科院计算所展开科研课题合作,共同构建大规模数据集Food2K,并提出渐进式区域增强网络用于食品图像识别,相关研究成果已发表于T-PAMI 2023。
2023-02-24 10:56:15
315
原创 交互式推荐在外卖场景的探索与应用
外卖场景的用户停留时长低于传统电商,对用户实时需求的理解和反馈有更高的要求。针对业务问题,外卖推荐团队从2021年起开始持续投入,最终摸索出了一套适用于外卖场景的交互式推荐架构和策略,并取得了较好的收益。下文将详细介绍外卖首页Feed在搭建交互式推荐时遇到的挑战和解决思路。1. 背景1.1 什么是交互式推荐?1.2 为什么需要交互式推荐?2. 问题与挑战3. 主要...
2023-02-16 19:58:56
557
原创 美团视觉GPU推理服务部署架构优化实践
面对在线推理服务使用的GPU资源不断增加、GPU利用率普遍较低的挑战,美团视觉研发团队决定通过模型结构拆分和微服务化进行优化,他们提出了一种通用高效的部署架构,来解决这种常见的性能瓶颈问题。以“图像检测+分类”服务为例,优化后的服务压测性能指标GPU利用率由40%提升至100%,QPS也提升超过3倍。本文将会重点介绍推理服务部署架构优化的工程实践,希望对大家能有所...
2023-02-09 19:58:50
443
原创 Code:美团代码托管平台的演进与实践
总第550篇2023年 第002篇美团代码托管平台经过长期的打磨,完成了分布式架构的改造落地,托管数以万计的仓库,日均Git相关请求达到千万级别。本文主要介绍了美团代码托管平台在迭代演进过程中面临的挑战及解决思路,希望对大家有所帮助或启发。1. 引言2. 美团代码托管平台建设之路2.1 代码托管平台的发展史3. 美团代码托管平台架构演进的落地和挑战3.1 扩展性目标3.2 可用性目标4. 总结5....
2023-02-02 19:58:34
533
原创 美团开放平台SDK自动生成技术与实践
美团开放平台为整个美团提供了20+业务场景的开放API,为了使开发者能够快速且安全的接入美团开放平台,美团开放平台提供了多种语言的SDK来提高开发者的接入效率。本文介绍了美团开放平台如何自动生成SDK代码的相关技术实现方案,希望对大家能够有所帮助或者启发。
2023-01-06 10:23:31
960
1
原创 美团开放平台SDK自动生成技术与实践
总第549篇2023年 第001篇美团开放平台为整个美团提供了20+业务场景的开放API,为了使开发者能够快速且安全的接入美团开放平台,美团开放平台提供了多种语言的SDK来提高开发者的接入效率。本文介绍了美团开放平台如何自动生成SDK代码的相关技术实现方案,希望对大家能够有所帮助或者启发。1. 引言1.1 背景1.2 SDK目标概述2. SDK自动生成技术详解2.1 整体设计2.2 自动生成参数模...
2023-01-05 19:58:18
1316
原创 美团外卖推荐智能流量分发的实践与探索
总第548篇2022年 第065篇美团外卖推荐团队在推荐算法的长期落地实践中,针对外卖业务情境化特点对排序模型进行深入探索与优化。本文介绍了面向情境化建模的“情境细分+统一模型”建模思路,通过用户行为序列建模以及专家网络两个模块的优化,实现不同场景间对信息独有性的刻画和信息共性的相互传递,进而提升全部流量效率。1. 引言2. 问题与挑战3. 情境化智能流量分发3.1 情境化长序列检索3.2 情境化...
2022-12-08 19:58:01
897
1
原创 大规模异构图召回在美团到店推荐广告的应用
总第530篇2022年 第047篇美团到店推荐广告团队在图神经网络的长期落地实践中,思考分析了场景的特点与挑战,针对性地进行了模型设计,并通过大规模训练工具及线上部署优化多次成功落地,带来了线上收入提升。本文主要介绍了大规模图召回技术在美团到店广告场景下的实践经验,包括模型设计思路、模型迭代历程、大规模训练工具以及线上部署性能优化等,希望为从事相关工作的读者带来一些启发。1. 引言2. 图神经网络...
2022-11-24 19:59:00
485
原创 美团SemEval 2022结构化情感分析跨语言赛道冠军方法总结
总第547篇2022年 第064篇美团语音交互部针对跨语言结构化情感分析任务中缺少小语种的标注数据、传统方法优化成本高昂的问题,通过利用跨语言预训练语言模型、多任务和数据增强方法在不同语言间实现低成本的迁移,相关方法获得了SemEval 2022结构化情感分析跨语言赛道的冠军。1. 背景2. 赛题简介数据介绍评估指标3. 现有方法和问题4. 我们的方法5. 方法实现和实验分析5.1 模型选择5.2...
2022-11-24 19:59:00
858
1
原创 清华大学课题组联合美团研发无人机声波定位技术获ACM SenSys顶会大奖
11月6日至9日,第20届国际计算机学会(Association for Computing Machinery,简称ACM)嵌入式网络感知系统大会(Conference on Embedded Networked Sensor Systems ,简称SenSys)在美国波士顿召开。清华大学软件学院何源副教授课题组和美团无人机团队合作论文“麦巢:辅助无人机精准降落的远距离即时声源定位技术”(Mic...
2022-11-24 19:59:00
462
原创 美团外卖搜索基于Elasticsearch的优化实践
美团外卖搜索工程团队在Elasticsearch的优化实践中,基于Location-Based Service(LBS)业务场景对Elasticsearch的查询性能进行优化。该优化基于Run-Length Encoding(RLE)设计了一款高效的倒排索引结构,使检索耗时(TP99)降低了84%。本文从问题分析、技术选型、优化方案等方面进行阐述,并给出最终灰度验证的结论。
2022-11-18 15:48:48
1499
原创 ACM MM & ECCV 2022 | 美团视觉8篇论文揭秘内容领域的智能科技
前不久,美团视觉智能部的8篇论文被多媒体和计算机视觉领域顶会 ACM MM 与 ECCV 收录,本文将快速带你了解这8篇论文的研究成果及其可在内容领域的落地应用。
2022-11-18 15:47:57
1074
转载 讲座报名|美团无人机团队技术分享:大规模、高精度激光SLAM
【清华大学-美团数字生活联合研究院学术沙龙】由清华大学-美团数字生活联合研究院发起和主办。自2022年3月起,定期邀请学术界、产业界专家,分享前沿技术和工业界实践经验,覆盖多个技术领域,旨在促进产学研合作与交流,推动科技创新发展。| 议题及讲师议题简介大规模、高精度激光SLAM报告将介绍一种大规模、高精度的激光SLAM算法,包括局部建图、全局建图和实时定位三部分。在局部和全局建图中, 激光雷达的姿...
2022-11-17 20:13:18
306
原创 美团图灵机器学习平台性能起飞的秘密(一)
本文作为《图灵机器学习平台性能起飞的秘密》系列的第一篇,主要讲述了内存优化中的算子优化技巧,深入分析了mapPartitions算子的原理,并提供了mapPartitions算子的最佳实践。图灵机器学习平台基于此方案进一步开发了BufferIterator框架,能够灵活应对输入M条数据输出N条数据的场景,极大提升了图灵的吞吐量。后续我们将继续为大家介绍更多的优化技巧,敬请期待。琦帆、立煌、兆军等,均来自美团到家事业群/履约平台技术部。阅读美团技术团队更多技术文章合集前端|算法|后端|数据|安全|运维|
2022-11-11 13:47:06
896
转载 美团入选“国家新一代人工智能开放创新平台”
近日,科技部正式批复,支持科技零售企业美团建设“智慧生活国家新一代人工智能开放创新平台” (以下简称“智慧生活国家开放创新平台”)。美团将在科技部支持下,依托并开放“自动驾驶、计算机视觉、智能语音、自然语言处理”等人工智能底层科技能力,建设智慧生活国家开放创新平台,助力传统服务业实现数字化转型升级。据了解,“国家新一代人工智能开放创新平台”(以下简称“国家开放创新平台”)的建设,分别由细分行业领域...
2022-11-10 19:58:56
238
转载 讲座报名|美团自动配送技术:感知预测与规划控制
【清华大学-美团数字生活联合研究院学术沙龙】由清华大学-美团数字生活联合研究院发起和主办。自2022年3月起,定期邀请学术界、产业界专家,分享前沿技术和工业界实践经验,覆盖多个技术领域,旨在促进产学研合作与交流,推动科技创新发展。| 议题及讲师议题简介议题一:感知和预测:如何理解复杂的配送环境感知和预测的目标是精准理解周围的环境,是自动配送车能够安全高效行驶的重要前提。一方面,需要对物体进行检测、...
2022-11-10 19:58:56
317
原创 检索式对话系统在美团客服场景的探索与实践
总第542篇2022年 第059篇在传统的客服、IM等场景中,坐席需要花费大量时间回答用户的各种咨询,通常面临答案查询时间长、问题重复、时效要求高等挑战。因而,使用技术手段辅助坐席快速、准确、高效地回答用户的各类问题非常有必要。我们设计并迭代了一套基于检索式对话系统的框架,以推荐回复的方式,基于对话上文为坐席提供候选回复,提高坐席效率进而提升用户体验,在众多业务上均取得显著效果。本文主要介绍了整体...
2022-11-03 19:58:48
481
原创 美团高性能终端实时日志系统建设实践
总第541篇2022年 第058篇你是否经常遇到线上需要日志排查问题但迟迟联系不上用户上报日志的情况?或者是否经常陷入由于存储空间不足而导致日志写不进去的囧境?本文介绍了美团是如何从0到1搭建高性能终端实时日志系统,从此彻底解决日志丢失和写满问题的。希望能为大家带来一些帮助和启发。1 背景1.1 Logan 简介1.2 Logan 工作流程1.3 为什么需要实时日志?1.4 Logan 实时日志是...
2022-11-03 19:58:48
798
原创 深入理解函数式编程(上)
本文分为上下两篇,上篇讲述函数式编程的基础概念和特性,下篇讲述函数式编程的进阶概念、应用及优缺点。函数式编程既不是简单的堆砌函数,也不是语言范式的终极之道。我们将深入浅出地讨论它的特性,以期在日常工作中能在对应场景中进行灵活应用。函数式编程是一种风格范式,没有一个标准的教条式定义。我们来看一下维基百科的定义:函数式编程是一种编程范式,它将电脑运算视为函数运算,并且避免使用程序状态以及易变对象。其中,λ演算是该语言最重要的基础。而且λ演算的函数可以接受函数作为输入的参数和输出的返回值。避免状态变更。
2022-10-28 11:14:18
379
原创 深入理解函数式编程(下)
本文通过深入函数式编程的副作用处理及实际应用场景,提供一个学习和使用函数式编程的视角给读者。一方面,这种副作用管理方式是一种高级的抽象形式,不易理解;另一方面,我们在学习和使用函数式编程的过程中,几乎都会遇到类似的副作用问题需要解决,能否解决这个问题也决定了一门函数式编程语言最终是否能走上成功。副作用处理方式函数式编程的应用函数式编程的优缺点比较先思考一个问题,下面两个定义有什么区别?num1是数字类型,而num2是对象类型,这是一个直观的区别。不过,不仅仅如此。利用类型,我们可以做更多的事。
2022-10-28 11:12:18
238
原创 深入理解函数式编程(下)
总第540篇2022年 第057篇函数式编程是一种历史悠久的编程范式。作为演算法,它的历史可以追溯到现代计算机诞生之前的λ演算,本文希望带大家快速了解函数式编程的历史、基础技术、重要特性和实践法则。在内容层面,主要使用JavaScript语言来描述函数式编程的特性,并以演算规则、语言特性、范式特性、副作用处理等方面作为切入点,通过大量演示示例来讲解这种编程范式。同时,文末列举比较一些此范式的优缺点...
2022-10-27 19:58:28
1492
原创 深入理解函数式编程(上)
总第539篇2022年 第056篇函数式编程是一种历史悠久的编程范式。作为演算法,它的历史可以追溯到现代计算机诞生之前的λ演算,本文希望带大家快速了解函数式编程的历史、基础技术、重要特性和实践法则。在内容层面,主要使用JavaScript语言来描述函数式编程的特性,并以演算规则、语言特性、范式特性、副作用处理等方面作为切入点,通过大量演示示例来讲解这种编程范式。同时,文末列举比较一些此范式的优缺点...
2022-10-27 19:58:28
2155
原创 通用目标检测开源框架YOLOv6在美团的量化部署实战
总第537篇2022年 第054篇基于美团目标检测模型开源框架 YOLOv6,本文介绍了一种通用的量化部署方案,在保持精度的同时大幅提升了检测的速度,为通用检测的工业化部署探索出一条可行之路,希望能给大家带来一些启发或者帮助。1. 背景和难点2. 量化方案实战2.1 重参数化优化器2.2 基于量化敏感度分析的部分量化2.3 基于通道蒸馏的量化感知训练3. 部署时优化3.1 图优化3.1.4 性能测...
2022-09-22 19:58:11
1781
原创 数字化新业态下数据安全创新——Token化
总第538篇2022年 第055篇数据安全最大的挑战是高速扩张前提下,解决数据暴露性问题。Token化让安全成为数据默认属性,让安全性随数据自动扩展,从根本上解决效率和安全合规的矛盾,实现设计安全和默认安全。本文主要介绍了Token化方案、Token化安全性实现以及美团所做的一些工程实践和经验分享。0. 引言1. 数据科技对安全的挑战2. Token化-数字世界银行体系3. Token化方案介绍...
2022-09-22 19:58:11
1286
原创 目标检测开源框架YOLOv6全面升级,更快更准的2.0版本来啦
9月5日,美团视觉智能部发布了YOLOv6 2.0版本,本次更新对轻量级网络进行了全面升级,量化版模型 YOLOv6-S 达到了 869 FPS,同时,还推出了综合性能优异的中大型网络(YOLOv6-M/L),丰富了YOLOv6网络系列。YOLOv6 支持检测模型训练、评估、预测以及模型量化、蒸馏等全链路开发流程,同时支持 GPU(TensorRT)、CPU(OPENVINO)、ARM(MNN、TNN、NCNN)等不同平台的部署,极大简化工程部署时的适配工作。| 本文系美团技术团队出品,著作权归属美团。
2022-09-19 10:44:46
1028
原创 美团隐私计算平台通过行业权威认证
近日,在2022年隐私计算大会上,中国信通院公布第六批可信隐私计算评测结果,美团隐私计算平台通过“联邦学习安全”和“多方安全计算基础能力”两个专项评测认证。2021年,美团已经通过“联邦学习基础能力”专项评测认证。通过这三项认证标志着美团隐私计算平台(产品名为“四方街”)提供的数据安全流通技术方案,能够通过多方安全计算和联邦学习能力,服务于金融、医疗、政务、营销等场景下的数据融合需求,支持数据需求...
2022-09-15 19:58:13
1512
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人