- 博客(47)
- 收藏
- 关注
RSS订阅原创 如何利用大模型进行产品设计
从回答可以看出，大模型的回答相当专业，能够紧扣问题，而且回答的内容很具有参考性，通过回答，我可以发现哪些点是我没考虑到的，哪些是要注意的。
2024-01-29 09:18:07
950
原创 从0到1：美团端侧CDN容灾解决方案
作为业务研发，你是否遇到过因为 CDN 问题导致的业务图片加载失败，页面打开缓慢，页面布局错乱或者页面白屏？你是否又遇到过某些区域 CDN 域名异常导致业务停摆，客诉不断，此时的你一脸茫然，不知所措？作为 CDN 运维，你是否常常被业务方反馈的各种 CDN 问题搞得焦头烂额，一边顶着各种催促和压力寻求解决方案，一边抱怨着服务商的不靠谱？今天，我们主要介绍一下美团外卖技术团队端侧 CDN 的容灾方案，经过实践，我们发现该产品能有效减少运维及业务开发同学的焦虑，希望我们的这些经验也能够帮助到更多的技术团队。
2024-01-28 09:31:23
800
原创 广告平台化的探索与实践 | 美团外卖广告工程实践专题连载
美团外卖已经成为公司最为重要的业务之一，而商业变现又是整个外卖生态重要的组成部分。经过多年的发展，广告业务覆盖了Feed流形式的列表广告，针对KA以及大商家的展示广告，根据用户查询Query的搜索广告，以及一些创新场景的创新广告等多个产品线，并对应十几个细分的业务场景。从技术层面而言，一次广告请求的过程，可以分为以下几个主要步骤：广告的触发、召回、精排、创意优选、机制策略等过程。
2024-01-28 09:30:18
951
原创 数据治理一体化实践之体系化建模
随着数字经济的快速发展，数据已经成为新的生产要素。如何有效地开展数据治理工作，提升数据质量，打破数据孤岛，充分发挥数据的业务价值，已成为业界的热门话题。本文基于美团配送数据治理的历程，重点和大家分享一下配送数据“底座”的建设与实践，如何通过体系化建模建立起数据定义到数据生产的桥梁，达成数据定义、模型设计、数据生产三个环节的统一，消除因数据标准缺失和执行不到位引发的数据信任问题，在高质量地实现数据到信息的转化的同时，为后续的数据便捷消费提供数据和元数据保障。
2024-01-28 09:29:30
590
原创 美团高性能终端实时日志系统建设实践
Logan 是美团面向终端的统一日志服务，已支持移动端App、Web、小程序、IoT等多端环境，具备日志采集、存储、上传、查询与分析等能力，帮助用户定位研发问题，提升故障排查效率。同时，Logan 也是业内开源较早的大前端日志系统，具有写入性能高、安全性高、日志防丢失等优点。
2024-01-28 09:28:53
1160
原创 业务数据治理体系化思考与实践
美团住宿业务从2014年上线之后发展多年，历经探索期、进攻期，发展期，并逐步由发展期向变革期过渡。业务从之前的快速扩张阶段进入相对稳定的发展阶段，运营手段转变为精细化运营，同时对数据的成本、效率、安全、价值等方向的要求也越来越高，这些都对数据治理提出了新的要求。图1 住宿业务发展阶段另一方面，住宿数据组所属的数据中心内部有住宿、门票度假等多条业务线，各业务线业务模式不同，所处业务生命周期阶段不同，在数据治理上的认知及经验积累也不同。
2024-01-28 09:27:55
880
原创 YOLOv6：又快又准的目标检测框架开源啦
YOLOv6 是美团视觉智能部研发的一款目标检测框架，致力于工业应用。本框架同时专注于检测的精度和推理效率，在工业界常用的尺寸模型中：YOLOv6-nano 在 COCO 上精度可达 35.0% AP，在 T4 上推理速度可达 1242 FPS；YOLOv6-s 在 COCO 上精度可达 43.1% AP，在 T4 上推理速度可达 520 FPS。
2024-01-28 09:23:45
920
原创 知识图谱可视化技术在美团的实践与探索
知识图谱（Knowledge Graph）是人工智能的重要分支，它是一种揭示实体之间关系的语义网络，可以对现实世界的事物及其相互关系进行形式化地描述。举个例子，“孙悟空的师傅是唐僧”就是一条知识。在这条知识里，有“孙悟空”和“唐僧”两个实体，“师傅”是描述这两个实体之间的关系，上述内容在知识图谱中就组成了一个SPO三元组（Subject-Predicate-Object）。所以，对于现实世界中实体之间的关联关系，用知识图谱进行描述的话，就显得非常合适。
2024-01-28 09:22:47
659
原创 Java系列 | 远程热部署在美团的落地实践
所谓热部署，就是在应用正在运行时升级软件，却不需要重新启动应用。对于Java应用程序来说，热部署就是在运行时更新Java类文件，同时触发Spring以及其他常用第三方框架的一系列重新加载的过程。在这个过程中不需要重新启动，并且修改的代码实时生效，好比是战斗机在空中完成加油，不需要战斗机熄火降落，一系列操作都在“运行”状态来完成。
2024-01-28 09:21:35
974
原创 工程效能CI/CD之流水线引擎的建设实践
1）什么是流水线我们可以把流水线的执行看作是对代码一步步加工，最终交付到线上的过程。根据业务定义的顺序关系，依次执行相应的加工或质量校验行为（如构建、代码扫描、接口测试、部署工具等），整个执行过程类似一个有向无环图。图1 流水线概念2）基本概念组件：出于代码复用和业务共享的考虑，我们将某一工具的操作行为封装成一个组件，表示对于一项具体的加工或校验行为。通过组件方式，业务可以便捷地使用已集成的质量工具（如静态代码扫描、安全漏洞分析等），减少在同一工具上的重复开发成本；
2024-01-28 09:20:20
641
原创 美团外卖搜索基于Elasticsearch的优化实践
最近十年，Elasticsearch 已经成为了最受欢迎的开源检索引擎，其作为离线数仓、近线检索、B端检索的经典基建，已沉淀了大量的实践案例及优化总结。然而在高并发、高可用、大数据量的 C 端场景，目前可参考的资料并不多。因此，我们希望通过分享在外卖搜索场景下的优化实践，能为大家提供 Elasticsearch 优化思路上的一些借鉴。美团在外卖搜索业务场景中大规模地使用了 Elasticsearch 作为底层检索引擎。其在过去几年很好地支持了外卖每天十亿以上的检索流量。
2024-01-28 09:19:31
1052
原创 深入理解函数式编程（上）
本文分为上下两篇，上篇讲述函数式编程的基础概念和特性，下篇讲述函数式编程的进阶概念、应用及优缺点。函数式编程既不是简单的堆砌函数，也不是语言范式的终极之道。我们将深入浅出地讨论它的特性，以期在日常工作中能在对应场景中进行灵活应用。函数式编程是一种风格范式，没有一个标准的教条式定义。我们来看一下维基百科的定义：函数式编程是一种编程范式，它将电脑运算视为函数运算，并且避免使用程序状态以及易变对象。其中，λ演算是该语言最重要的基础。而且λ演算的函数可以接受函数作为输入的参数和输出的返回值。避免状态变更。
2024-01-28 09:18:54
522
原创 基于代价的慢查询优化建议
一条SQL在MySQL服务器中执行流程主要包含：SQL解析、基于语法树的准备工作、优化器的逻辑变化、优化器的代价准备工作、基于代价模型的优化、进行额外的优化和运行执行计划等部分。具体如下图所示：SQL执行与优化器而对于优化器来说，执行一条SQL有各种各样的方案可供选择，如表是否用索引、选择哪个索引、是否使用范围扫描、多表Join的连接顺序和子查询的执行方式等。如何从这些可选方案中选出耗时最短的方案呢？
2024-01-28 09:18:06
693
原创 Kafka在美团数据平台的实践
基于Kafka的应用层去实现，具体就是Kafka的数据按照时间维度存储在不同设备上，对于近实时数据直接放在SSD上，针对较为久远的数据直接放在HDD上，然后Leader直接根据Offset从对应设备读取数据。这种方案的优势是它的缓存策略充分考虑了Kafka的读写特性，确保近实时的数据消费请求全部落在SSD上，保证这部分请求处理的低延迟，同时从HDD读取的数据不回刷到SSD防止缓存污染，同时由于每个日志段都有唯一明确的状态，因此每次请求目的明确，不存在因Cache Miss带来的额外性能开销。
2024-01-28 09:17:26
1081
原创 设计模式二三事
本文以三个实际场景为出发点，借助小明和老师两个虚拟的人物，试图以一种较为诙谐的“对话”方式来讲述设计模式的应用场景、优点和缺点。如果大家想要去系统性地了解设计模式，也可以通过市面上很多的教材进行学习，都介绍了经典的23种设计模式的结构和实现2022年3月11日。不过，很多教材的内容即便配合了大量的示例，但有时也会让人感到费解，主要原因在于：一方面，很多案例比较脱离实际的应用场景；另一方面，部分设计模式显然更适用于大型复杂的结构设计，而当其应用到简单的场景时，仿佛让代码变得更加繁琐、冗余。
2024-01-28 09:07:37
1012
原创 可视化全链路日志追踪
传统的ELK方案是一种滞后的业务追踪，需要事后从大量离散的日志中搜集和筛选出需要的日志，并人工进行日志的串联分析，其过程必然耗时耗力。而分布式会话跟踪方案则是在调用执行的同时，实时地完成了链路的动态串联，但由于是会话级别且仅关注于调用关系等问题，导致其无法很好地应用于业务追踪。因此，无论是传统的ELK方案还是分布式会话跟踪方案，都难以满足日益复杂的业务追踪需求。
2024-01-28 09:06:36
935
原创 MJDK 如何实现压缩速率的 5 倍提升？
数据压缩技术[1]因可有效降低数据存储及传输成本，在计算机领域有非常广泛的应用（包括网络传输、文件传输、数据库、操作系统等场景）。主流压缩技术按其原理可划分为无损压缩[2]、有损压缩[3]两类，工作中我们最常用的压缩工具 zip 和 gzip ，压缩函数库 zlib，都是无损压缩技术的应用。Java 应用中对压缩库的使用包括：处理 HTTP 请求时对 body 的压缩/解压缩操作、使用消息队列服务时对大消息体（如>1M）的压缩/解压缩、数据库写入前及读取后对大字段的压缩/解压缩操作等。
2024-01-28 09:04:18
693
原创 如何提供一个可信的AB测试解决方案
实证中由于不可能同时观测到同一群体在不同策略下的两种潜在结果，无法决定哪个策略胜出，需要构建一个反事实（Counterfactual）用来代表接受策略B的群体在接受A策略时的潜在结果。具体来讲，构建一个与实验组群体特征均值无差异的对照组，用其观测结果代表实验组群体在施加A策略时的潜在结果，此时两种结果的均值差便是策略效应大小。由于是基于样本的观测数据得出的结论，需要通过显著性分析（Significance Test），以证明结论具有统计意义，这便是策略评估的完整路径。
2024-01-28 09:02:03
993
原创 一次「找回」TraceId的问题分析与过程思考
抓住问题本质：在业务系统报警中抓住问题的核心代码并尝试再次复现问题，找到真正出问题的模块。深入理解设计思想：在查阅公司中间件的产品文档的基础上再继续追根溯源，学习业内领先者最开始的分布式链路追踪系统的设计思想和实现途径。结合实际问题提出疑问：结合了解到的分布式链路追踪系统的实现流程和设计思想，回归到一开始我们要解决的TraceId丢失情况分析是在什么环节出现问题。阅读源码找到底层逻辑。
2024-01-28 08:59:29
634
原创 代码变更风险可视化系统建设与实践
第四个应用场景是配置变更的风险诊断，在比较复杂的大型业务上，整个系统对配置往往有强依赖关系，比如典型的灰度配置、降级配置以及内部逻辑相关控制配置项，对于整个系统的影响比较大，但往往QA和研发人员对于配置风险的把控实际上比较缺失，认为代码可能更多的是质量保障的重点，所以由于配置所导致的线上问题比较多，造成的结果比较严重。我们通过对线上问题做汇总分析发现，新老兼容性这类典型问题占比较高，我们尝试通过后羿系统解决，QA能够做简单的兼容性问题识别，比如一个接口的入参返回值有明显的字段新增或类型变化会明确判断出来。
2024-01-28 08:56:27
785
原创 分布式因果推断在美团履约平台的探索与实践
经过两年持续迭代，我们实现的分布式因果推断工具包已经发展成集模型训练、评估、去偏、Serving于一身的综合型因果工具包。我们内部为这个项目命名为Causal On Spark，简称COS。目前这个项目也已经全部集成到图灵机器学习平台中。将来有机会我们会再次为大家分享美团履约技术团队在分布式因果推断领域的探索和实践经验。
2024-01-28 08:55:13
608
转载 美团开放平台SDK自动生成技术与实践
SDK，英文名称为 Software Development Kit，即软件开发工具包，广义上指辅助开发某一类软件的相关工具、文档和范例的集合。在开放平台的场景，我们为开发者提供的SDK应能为其屏蔽调用OpenAPI的通信协议、参数传递规范、接口基础契约（如时间戳、安全签名）等细节，以降低其对接平台API所需的开发成本。具备基本功能的开放平台SDK的架构和功能模块如下所示：//设置请求参数//完成业务逻辑} else {//处理接口调用失败的逻辑。
2024-01-26 17:52:47
529
转载 交互式推荐在外卖场景的探索与应用
交互式推荐是一种互动式实时推荐产品模块，主要通过理解用户需求、以互动的方式进行推荐。交互式推荐由Youtube在2018年提出[1]，主要用于解决推荐系统的延迟[2]和与用户互动偏弱的问题。从2021年下半年开始，美团外卖推荐技术团队在外卖首页Feed上持续进行探索，2022上半年完成全量。具体流程如视频1所示：用户从首页Feed进入商家详情页并退出之后，动态地插入新的推荐内容到用户推荐列表中。其主要优势是根据用户的实时需求动态插入卡片进行反馈，进而增强用户的使用体验。
2024-01-26 17:50:32
597
原创 大厂Java开发常见的笔试选择题(含答案)
Java中的基本数据类型包括byte、short、int、long、float、double等，但不包括double double。Java中的数据类型包括byte、short、int、long、float、double、char和boolean。Java中的控制语句包括if语句、switch语句、for循环、while循环等，但不包括do-while循环。Java中的基本数据类型包括boolean、byte、short、int、long、float和double，共7种。正确答案：B、C和D。
2024-01-26 16:24:12
468
原创 基于UI交互意图理解的异常检测方法
移动应用由“页面”组成，不同页面中的不同“模块”为用户提供着不同的功能。用户在浏览页面时，根据以往使用经验以及当前页面中的图像、文字、页面结构等信息，可快速理解页面当中不同【模块】所想要提供的【功能】，以及通过该功能用户能够达到的【目的】。这些被用户认为能够提供特定功能并达到预期目的的页面模块，我们将其命名为一个【交互意图簇】。以下图中的页面为例，不同模块通常对应不同的交互意图类型划分。比如商品详情区域，我们可以得知此模块主要是向我们展示当前商品最主要的信息，起展示作用；而顾客信息区域，需要用户进行。
2024-01-26 15:29:42
645
原创 某大型项目技术路线分享
同时，容器云支持多级资源池的灵活资源划分和管理服务，底层存储和网络的基础平台集成服务，集群节点管理、日志管理、监控管理、告警管理等统一管理服务，远程终端服务，以及围绕平台来打造的微服务引擎、云日志、云监控、服务网格等高效实用的微服务。项目体量大、涉及业务多，总体采用微服务架构。3.1、图像智能技术是指一类基于计算机的自适应于各种场景的图像处理和分析技术，相当于人们在赋予机器智能的同时，为机器安上了“眼睛”，使机器能够“看得见”“看得准”，使得机器视觉系统可以实现高分辨率和高速度的控制。
2024-01-26 14:49:51
217
原创 Code：美团代码托管平台的演进与实践
本文系统性地介绍了美团在Code系统演进过程中面临的扩展性和可用性两大瓶颈，并分别针对上述两类瓶颈和对应的挑战，详细阐述了解决方案和落地的实践经验。基于上述的架构改造实践，目前美团代码托管平台实现了仓库容量水平扩展、负载自主均衡等特性，稳定支撑着研发流程规范的落地。我们未来会在支撑研发效率，保障研发安全方面继续进行探索和演进，争取积累更多宝贵的实践经验，后续再跟大家分享。潘陶、费翔、丹丹、毛强等，来自基础研发平台-研发质量与效率团队。
2024-01-26 13:03:11
911
1
原创 云原生详解
云原生的概念最早由Pivotal公司的Matt Stine在2013年提出，随后在2015年，云原生计算基金会（CNCF）成立，该组织由谷歌牵头，旨在推广云原生技术和实践。- **Kubernetes**：这是一个容器编排系统，用于自动部署、扩展和管理容器化应用程序。- **Prometheus**：这是一个监控和警报工具，专门用于收集和存储时间序列数据，对于监控云原生应用程序的性能至关重要。- **Envoy**：这是一个服务网格的数据平面组件，用于处理服务间的通信，包括路由、负载均衡和安全加固。
2024-01-25 19:27:11
172
原创 文本相似度详解
查准率是指在所有被识别为相似的文本对中，真正相似的文本对所占的比例；7. **基于深度学习的相似度比对**：使用深度学习模型（如循环神经网络RNN、长短期记忆网络LSTM、Transformer等）来学习文本的深层表示，然后基于这些表示进行相似度计算。6. **语义相似度**：不仅考虑文本的表面形式，还尝试理解文本的内在意义，并在此基础上进行相似度比较。2. **杰卡德相似度（Jaccard Similarity）**：衡量两个集合交集大小与并集大小的比例，常用于衡量文本中词语集合的相似度。
2024-01-25 19:09:43
237
原创 智能要素提取算法详解
1. **TextRank算法**：这是一种基于随机游走的关键词提取算法，它通过构建一个无向图来表示文本中的词汇共现关系，并以此计算每个词的重要性。TextRank算法的核心是将文本中的词汇视为图中的节点，词汇之间的共现关系视为边，边的权重代表了词汇间的关联强度。5. **集成学习算法**：通过组合多个不同的模型或算法，集成学习可以提高整体的预测性能。6. **语义分析技术**：包括情感分析、关键词提取、实体识别、语义匹配和语义推断等，这些技术能够帮助算法更好地理解文本内容，并从中提取有价值的信息。
2024-01-25 18:59:26
156
原创 美团数据库的高可用系统
在数据库集群规模迅速扩大的背景下，如果出现故障，如何快速恢复成百甚至数千个集群的数据和服务，是很多大型互联网企业面临的重要挑战。线上部署了几十万的微服务，数据库结构和拓扑随时在发生变更，系统重构、内核升级、硬件设备汰换、机房搬迁等等，也都会对数据库的稳定工作产生一定的影响。作为整个IT系统中最为重要、最为底层的服务，即便遇到了极小概率事件的冲击，也会造成非常大的影响。对美团数据库团队来说，”低垂的果实已经摘完”，我们开始着力应对这些小概率事件对业务造成的冲击。
2024-01-25 16:19:38
570
原创 国内大厂大模型产品网址大全
总的来说，以上各大厂都提供了丰富的大模型学习资源，你可以根据自己的兴趣和需求，选择合适的平台进行深入学习。同时，由于大模型技术更新迅速，建议您持续关注各大厂商的最新动态和技术分享，以获得最前沿的学习资料。
2024-01-25 15:23:32
599
原创 大模型能力和应用场景简析
能力：应用场景和创业方向：能力：应用场景和创业方向：能力：应用场景和创业方向：能力：应用场景和创业方向：能力：应用场景和创业方向：
2024-01-25 09:09:39
542
原创 大厂java开发面试题top18
答题思路：volatile关键字用于保证变量的可见性，当一个变量被volatile修饰时，对该变量的操作会直接从主内存中读取和写入，避免了线程间的缓存不一致问题。参考答案：volatile关键字用于保证变量的可见性，当一个变量被volatile修饰时，对该变量的操作会直接从主内存中读取和写入，避免了线程间的缓存不一致问题。List是有序可重复的集合，Set是无序不可重复的集合，Map是键值对映射关系的集合。List是有序可重复的集合，Set是无序不可重复的集合，Map是键值对映射关系的集合。
2024-01-24 22:47:56
227
原创 大厂程序员成长路径
5. 首席科学家阶段（12-15年）：在这个阶段，程序员已经成为公司乃至行业的技术权威人士，具备极高的声誉和影响力。此外，他们还需要培养新一代的技术人才，传承经验和知识。5. 技术总监阶段（12-15年）：在这个阶段，程序员已经成为公司的技术领袖，具备丰富的经验和深厚的技术功底。3. 高级工程师阶段（5-8年）：在这个阶段，程序员已经成为某一领域的专家，具备独立解决复杂问题的能力。需要注意的是，以上成长路径仅供参考，是比较理想的成长路径，具体的成长速度和发展方向还会受到个人兴趣、能力和公司需求的影响。
2024-01-24 22:29:20
1075
原创 大厂架构师面试题top20
参考答案：RESTful API是一种基于HTTP协议的API设计风格，它遵循REST（Representational State Transfer）原则，具有无状态、可缓存、统一接口等特点。参考答案：微服务架构是一种将单一应用程序划分为一组小的、松散耦合的服务的架构风格。参考答案：Docker是一个容器化平台，它将应用程序及其依赖项打包到一个轻量级的容器中，实现了应用的快速部署和高效运行。参考答案：消息队列是一种用于在分布式系统中传递消息的技术，它可以解耦生产者和消费者，提高系统的可扩展性和可靠性。
2024-01-24 22:01:19
309
原创 如何利用大模型进行内容创作
以上步骤描述了从访问大模型平台到发布内容的整个过程。记住，实际上每个步骤都可能涉及更多的细节和操作，具体取决于所使用的平台和工具的实际情况。
2024-01-24 17:40:59
385
原创 同城双活和两地三中心架构设计
异地灾备中心是指在异地的城市建立一个备份的灾备中心，用于双中心的数据备份，数据和服务平时都是冷的，当双中心所在城市或者地区出现异常而都无法对外提供服务的时候，异地灾备中心可以用备份数据进行业务的恢复。（2）架构方案较为简单，核心是解决底层数据双活，由于双机房距离近，通信质量好，底层储存例如数据库可以采用同步复制，有效保证双机房数据一致性。（2）架构方案较为简单，核心是解决底层数据双活，由于双机房距离近，通信质量好，底层储存例如数据库可以采用同步复制，有效保证双机房数据一致性。所谓两地三中心是指同城双中心。
2024-01-24 11:48:07
661
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人