阿里技术-CSDN博客

原创如何优雅地编写缓存代码

在日常的编码实践中，经常会用到缓存来解决高并发问题，缓存可以说是解决流量洪峰的不二利器。虽然集团中间件团队已经构建了缓存的基础设施，已经帮助我们解决了绝大部分问题，但是在实际的编码使用过程中，应用端调用缓存 API 时还是存在下述几类问题：使用缓存的逻辑非常通用，基本都是先查缓存，有直接返回，没有查 DB，再放入缓存中。这段通用逻辑散落在系统的各个地方，违反了高内聚低耦合的原则。缓存代码和业务逻辑代码深度耦合在一起，不仅降低了代码的可读性，还额外增加了系统复杂度。

2024-05-22 14:41:07 192

原创上海交大携手阿里巴巴成立人工智能与系统联合实验室

张瓅玶（谷朴）介绍了联合实验室的成立目标与组织架构，表示阿里巴巴将全力支持联合实验室的建设与发展，期待双方共同努力，产出更多具有影响力的科研成果，为阿里巴巴的业务创新提供有力支撑，并成为双方在 AI 与系统领域创新合作与人才交流的桥梁。复旦大学计算机学院薛向阳教授带来了题为《基于重构的组成式视觉场景表示学习》的学术报告，从视觉场景建模和组成式表示推断的角度，分享了基于重构的深度神经网络组成式场景表示学习的当前进展。

2024-05-15 10:47:38 378

原创浅谈现代消息队列与云存储

1970 年代末，消息系统用于管理多主机的打印作业，这种削峰解耦的能力逐渐被标准化为“点对点模型”和稍复杂的“发布订阅模型”，实现了数据处理的分布式协同。随着时代的发展，Kafka，Amazon SQS，RocketMQ，Azure Service Bus，Google Pub/Sub，RabbitMQ 等众多产品为开发者在不同业务场景下提供了富有竞争力的解决方案，并扩展出顺序，事务，定时消息，精确一次投递等丰富的语义和特性，让消息系统成为分布式系统中的标准组件。

2024-05-10 14:08:26 1000

原创世界读书日|看看阿里内部的技术大牛们推荐了什么书?

AI 时代，技术呈指数级发展，我们越来越关注，如何持续学习提升，跟上时代的步伐。刚好借着世界读书日的契机，我们邀请了阿里内部的技术大牛们，分享他们在 AI 时代持续学习的过程中，推荐的一些内容。这其中的每一本书，都带有推荐者深刻的感悟与独到的见解。在这个春意正浓的季节，期待与你重逢在阅读的旅程中。

2024-04-24 09:44:56 332

原创如何爬出 Kotlin 协程死锁的坑？

/ 这段代码将死锁到天荒地老final ExecutorService executorService = Executors.newSingleThreadExecutor();相比别的死锁问题, 这一类问题的坑点在于, 因为线程池的实现问题, jstack 等 jvm 工具无法对其自动诊断, 只能肉眼看出。在 Kotlin 协程中, 因为底层的线程池申请更加黑盒, 如果不是足够了解, 很容易踩到这类坑。本文不会再去重复 Kotlin 协程的基本语法, 而是专注于死锁的话题。

2024-04-17 10:53:37 1110

原创一些 MaxCompute 日常优化案例分享

MaxCompute 优化是一个多样而又重要的过程，优化过程中若能够深入理解 ODPS 的工作原理和内部机制，才能够更明确的发现运行过程中存在的问题，这样才能更有针对性地进行优化，优化需要不断思考和尝试不同的想法和方法，适当的时候我们可以寻求平台技术人员帮助，以找到最适合的优化方案。以下通过日常几个优化案例，最终优化手段可能非常简单，但其中的分析过程较为重要，希望对他人有所启发。

2024-04-10 11:02:29 524

原创漫谈测试策略

测试策略有两层背景叠加：业务大背景和项目小背景。下文提到的测试策略有时指代业务级测试策略，有时指代项目级测试策略，如果无特指强调，则是在探讨两类测试策略的共同特点。

2024-04-03 10:29:08 1026

原创聊聊我做测试开发的十年心路历程

不知不知觉，已经从事测试开发这个行当 10 来年了，从上大学到参加工作，从南方到北方再回南方，辗转了大半个中国，如今算算进公司已经开启了第五个年头，今年就要五年陈了。兜兜转转这十多年间，虽然一直都在质量领域，但其实也经历过不少的角色转换，这几年学习了很多，也收获了很多，希望借此机会跟大家分享自己这些年在质量域和职场上自己的一点思考和总结，写在现在，也写给未来的自己，记录今天的所思所想。在文章的结尾，借用康德的一句话来总结：我始终只求克服自己，不求克服命运；只求改变自己的欲望，不求改变世界秩序。

2024-03-27 14:21:34 790

原创技术领导力之路 - 正反馈

TRE 会面向全部员工做一年一度的组织氛围调研，调研围绕员工的敬业度、满意度、文化行为等收集全面的数据，供管理者分析，帮助管理者改进。调研的问题有，我是否明确我的工作要求？在工作中，我觉得我的意见受到重视？等等。调研会根据大家对每个问题的回答计算一个分数，对于多数问题，普遍反馈得分都是比较高的，都在 4 分以上（总分 5 分）。唯独有一个问题，连续两年的得分都比较低，分别是 3.64 和 3.54 分。这个问题是："在过去的七天里，我因工作出色而受到认可或表扬。

2024-03-22 14:34:11 754

原创【一文读懂】基于 Havenask 向量检索 + 大模型，构建可靠的智能问答服务

Havenask 是阿里巴巴广泛使用的自研大规模分布式检索系统，是过去十多年阿里在电商领域积累下来的核心竞争力产品，广泛应用在搜推广和大数据检索等典型场景。在 2022 年云栖大会-云计算加速开源创新论坛上完成开源首发，同时作为阿里云开放搜索 OpenSearch 底层搜索引擎，OpenSearch 自 2014 年商业化，目前已有千余家外部客户。Havenask 通过深度集成 proxima 向量库，以 Havenask 中的一种索引类型的方式支持向量检索。

2024-03-13 11:19:00 1016

原创从 Language Model 到 Chat Application：对话接口的设计与实现

从 2022 年底 chatGPT 的一炮走红开始，基于大语言模型的对话应用如雨后春笋一般全面开花。刚刚过去的 2023 年是千帆竞发的一年，在这一年里我们见证了百模大战，开源模型社区可谓繁荣昌盛：从 llama 到它的无数变体、qwen 系列的完整中文大模型生态构建、Mixtral 等多模态的成功尝试、再到 llava 等视觉大语言模型的蓄势待发。在语言模型上，我们已经有了十分丰富的选择，这些模型在 RTP-LLM 上都得到了较好的支持，可以高效地完成推理。

2024-03-06 10:51:05 1259

原创破防了，谁懂啊家人们：记一次 mysql 问题排查

谁懂啊家人们，作为一名 java 开发，原来以为 mysql 这东西，写写 CRUD，不是有手就行吗；你说 DDL 啊，不就是设计个表结构，搞几个索引吗。键盘撒一把冻干，我家猫也能来上班。——粥师傅结果一次线上出问题了，一环接一环，不仅猫上不了班，晚上还得等我加班回家，眼巴巴吃不到冻干。（你看我锤不锤你就完事了）一切的问题源自对 create table as 这个语句的不熟悉，这个语句建表导致的表主键、索引、auto_increment 的丢失。不熟悉的 SQL 不能乱跑😭😭😭。

2024-02-28 14:32:22 936

原创【前沿技术】阿里开源搜索引擎 Havenask 的消息系统

Havenask 是阿里巴巴广泛使用的自研大规模分布式检索系统，是过去十多年阿里在电商领域积累下来的核心竞争力产品，广泛应用在搜推广和大数据检索等典型场景。在 2022 年云栖大会-云计算加速开源创新论坛上完成开源首发，同时作为阿里云开放搜索 OpenSearch 底层搜索引擎，OpenSearch 自 2014 年商业化，目前已有千余家外部客户。下图展示了 Havenask 中一个完整的搜索服务：在线系统、索引系统、管控系统、扩展插件，且包括了查询流、数据流、控制流。

2024-02-22 14:47:21 953

原创阿里集团基于 Fluid+JindoCache 加速大模型训练的实践

Fluid 是一个开源可扩展的分布式数据编排和加速系统，以 Kubernetes 标准和对用户透明的方式为 AI 和大数据等数据密集型应用提供数据访问能力，其目标为构建云原生环境下数据密集型应用的高效支撑平台。Fluid 通过 Kubernetes 服务提供的数据层抽象，可以让数据像流体一样在诸如 HDFS、OSS、Ceph 等存储源和 Kubernetes 上层云原生应用计算之间灵活高效地移动、复制、驱逐、转换和管理。

2024-02-06 10:35:51 914

原创软件架构一致性 —— 被忽视的研发成本

实体企业家都会非常清晰地了解他自己生意所涉及的供应链。在用来和软件工程做类比之前，我们可以先简单分析下牛奶这一商品的供应链体系，消费者购买牛奶，为此付费、满足自己强身健体的欲望。为了生产超市货架上我们看到的牛奶，背后需要生产资料或者服务非常之多，例如需要冷链物流、需要巴氏杀菌的设备、当然还有奶牛。再分析奶牛的背后，至少能够理解背后需要干草（有些高品质的牛奶需要特定的上等苜蓿干草），而大规模生产干草需要割草机、捆扎机、卡车等等。除了干草外，生产奶牛还需要牧场，而牧场又随时而来需要灌溉系统的支撑等等。

2024-02-04 10:08:54 1097

原创「我在淘天做技术」2024 年看 AIGC 是如何让 1688 主图焕发新春的

我在这里想向大家介绍 1688 严选和商品品质化之旅。去年，我们推出了 1688 严选，面临的挑战是如何让买家相信我们的商品真的经过了严格的筛选。为了解决这个问题，我们定义了“严选”标准，并运用 AIGC 技术规模化生产和投放品质化商品主图，以提高买家的信任度。尽管我们面临图源质量、合图标准和流程自动化等挑战，但我们通过技术创新和优化流程，大幅提升了效率，如今能每天快速制作高达几万张品质主图，为 1688 商人节大规模投放做准备。

2024-01-29 11:03:25 1205

原创「我在淘天做技术」智能对话新纪元：百万日活对话机器人的 LLM 落地实践

阿里小蜜家族（阿里小蜜、店小蜜、万象），从 2015 年发展至今，已经成为了覆盖淘天 P-C（平台-消费者）、B-C（商家-消费者）、P-B（平台-商家）全咨询体系的智能对话机器人，日均接待量级在百万（阿里小蜜）到千万（店小蜜）范围。作为淘天集团乃至行业内最大体量的对话机器人应用之一，阿里小蜜在对话算法能力上持续探索，在 2022 年 chatgpt 爆炸性的诞生之后，我们也加快了拥抱 LLM 技术的步伐。

2024-01-23 14:39:49 1312

原创一文带你揭秘淘宝终端技术

作者：周杰（寻弦）在这个数字化迅速发展的时代，技术的每一次飞跃都不仅仅意味着一个产品的升级，更是对未来世界的一次大胆想象。从 PC 到 iPhone，从 Model 3 到 ChatGPT，都引领了全新的一个行业。对于正处在求学阶段的你们，选择一个充满活力、技术领先、并且可以提供巨大成长空间的团队，无疑是迈向成功职业生涯的关键第一步。现在，就让我们一同揭开淘天终端技术团队的神秘面纱，一步步为你揭晓为何我们在终端技术领域独树一帜。

2024-01-17 11:00:32 1187

原创大模型推理优化实践：KV cache 复用与投机采样

我们在 Qwen13B/int8 量化/A10 机器的条件下，对不同输入和前缀长度的请求进行了测试：可以看到在复用 KV cache 功能极大程度的减少了 FTT，并且历史长度的变化对 FTT 的影响较小，FTT 更多的取决于本次请求的输入长度。并且除了多轮对话场景外，KV cache 复用功能也扩展到复用 Ptuning 前缀和长 System Prompt 的场景，降低 FTT 和显存占用。

2024-01-12 14:21:54 1369

原创揭秘阿里自研搜索引擎 Havenask 在线检索服务

Havenask 是阿里巴巴广泛使用的自研大规模分布式检索系统，是过去十多年阿里在电商领域积累下来的核心竞争力产品，广泛应用在搜推广和大数据检索等典型场景。在 2022 年云栖大会-云计算加速开源创新论坛上完成开源首发，同时作为阿里云开放搜索 OpenSearch 底层搜索引擎，OpenSearch 自 2014 年商业化，目前已有千余家外部客户。下图展示了 Havenask 中一个完整的搜索服务：在线系统、索引系统、管控系统、扩展插件，且包括了查询流、数据流、控制流。

2024-01-09 10:42:06 1472

原创一文详解 Java 限流接口实现

限流是对某一时间窗口内的请求数进行限制，保持系统的可用性和稳定性，防止因流量暴增而导致的系统运行缓慢或宕机。在高并发系统中，出于系统保护角度考虑，通常会对流量进行限流。在分布式系统中，高并发场景下，为了防止系统因突然的流量激增而导致的崩溃，同时保证服务的高可用性和稳定性，限流是最常用的手段。本文介绍的实现方式属于应用级限制，应用级限流方式只是单应用内的请求限流，不能进行全局限流。假设将应用部署到多台机器，我们需要分布式限流和接入层限流来解决这个问题。

2024-01-04 14:12:41 1439

原创 2024 通义语音 AI 技术图景，大模型引领 AI 再进化

PPT 视觉边界检测及大模型摘要是指提取视频中的 PPT 画面，并将每页 PPT 展示时所讲述的内容，提炼成摘要总结，便于快速回顾 PPT 及讲解内容。算法基本流程如下图所示，我们针对 PPT 展示的特点设计了结合视觉和文本的检测任务；

2023-12-29 15:46:51 2119

原创 Havenask 分布式索引构建服务 --Build Service

Havenask 是阿里巴巴广泛使用的自研大规模分布式检索系统，是过去十多年阿里在电商领域积累下来的核心竞争力产品，广泛应用在搜推广和大数据检索等典型场景，在 2022 年云栖大会-云计算加速开源创新论坛上完成开源首发，同时作为阿里云开放搜索 OpenSearch 底层搜索引擎，OpenSearch 自 2014 年商业化，目前已有千余家外部客户。下图展示了 Havenask 中一个完整的搜索服务：在线系统、索引系统、管控系统、扩展插件，且包括了查询流、数据流、控制流。

2023-12-27 09:58:11 1353

原创技术人必修课：利用金字塔原理高效思考与表达

金字塔结构，顾名思义就是一个自顶向下愈加厚重，自底向上更显精简的三角锥体结构，抽象到思维层面可以认为是由一个中心思想统领多组思想的递进式结构。在这种结构中，思想之间的联系方式可以是纵向的，即任一层次的思想都是对其下一层次思想的概括；也可以是横向的，即多个思想可以按照逻辑顺序共同组成属于对应逻辑范畴的分组，而后被并列组织在一起支持上层思想。任何事情都可以归纳出一个中心论点，而此中心论点可由三至七个论据支持，这些一级论据本身也可以是个论点，被二级的三至七个论据支持，如此延伸，状如金字塔。

2023-12-22 14:32:51 723

原创建立个人学习观｜地铁上的自习室

上班、工作、下班、休息、睡觉。在退休前的绝大部分时光，可能都是这么度过的，即便有一天从打工人变成了老板，虽然流程变得复杂，大体框架或许也仍会如此。我特别害怕未来的某一天，等到我体力跟不上，脑力也跟不上的时候，回想起这段平常的打工时光，满脑子除了那些需求项目，却想不出任何色彩，工作仅仅变成了工作，打工仅仅只是打工。

2023-12-10 23:20:13 873 1

原创「我在淘天做技术」迈步从头越 - 阿里妈妈广告智能决策技术的演进之路

在线广告对于大多数同学来说是一个既熟悉又陌生的技术领域。「搜广推」、「搜推广」等各种组合耳熟能详，但广告和搜索推荐有本质区别：广告解决的是“媒体-广告平台-广告主”等多方优化问题，其中媒体在保证用户体验的前提下实现商业化收入，广告主的诉求是通过出价尽可能优化营销目标，广告平台则在满足这两方需求的基础上促进广告生态的长期繁荣。广告智能决策技术在这之中起到了关键性的作用，如图 1 所示，它需要解决如下问题在内的一系列智能决策问题：1. 为广告主设计并实现自动出价策略，提升广告投放效果；

2023-11-28 15:38:23 1022

原创策略模式在数据接收和发送场景的应用

在本篇文章中，我们介绍了策略模式，并在数据接收和发送场景中使用了策略模式。

2023-11-22 10:53:30 1555

原创预发部署时机器总是重启两次的“简单”排查

先给 magellan 预发环境摘除了插件，保证开发体验，等插件逻辑修复好了再重新挂载在设计上，运维容器和主容器在同一个 Pod 内，共享磁盘，运维容器的确有权限操作主容器里的进程，那么在架构上要如何防范呢？我还没有答案，不知各位是否有，有的话，请留言告知。如果非要说本次排查过程有什么深刻体会的话，那就是“不要放过任何一个可疑的地方”！

2023-11-17 10:33:34 976

原创「我在淘天做技术」假如你五行属商家，如何算好账？

个人吃穿用度、迎来送往，都得花钱。节日红包、工资年终，也记账上。那么一家企业更是如此，新开了什么项目，办了什么活动，哪里该收钱，哪里该花钱，更是一分不能漏，一厘不能错。比如消费者在淘宝上买的东西到了，还是包邮的，他没有付钱，但是你作为商家会被收取物流费、仓内操作费、包裹的材料费；消费者在淘宝上要买冰箱，下单的时候平台顺便送冰格或保鲜膜，他也不会付钱，消费者未必会想到为什么他们可以在一起买一送一件赠品。不过这自然是平台在背后有这个营销活动，而撮合了这笔交易的同时你作为商家要出一笔服务费；

2023-11-13 16:15:20 1170

原创「我在淘天做技术」音视频技术及其在淘宝内容业务中的应用

近年来，内容电商似乎已经充分融入到人们的生活中：在闲暇时间，我们已经习惯于拿出手机，从电商平台的直播间、或者短视频链接下单自己心仪的商品。尽管优质的货品、实惠的价格、精致的布景、有趣的内容输出都是非常关键的影响因素，内容电商也必须基于两个前提：画质要高清、播放要流畅。曾经，有不少商家和主播因为直播间画质较差的问题而苦恼，不了解如何实现高画质开播。在一系列前沿音视频技术的加持下，淘宝音视频技术团队解决了这个问题。

2023-11-09 10:11:09 2098

原创「我在淘天做技术」1688的AIGC商业化落地实践探索

在围绕人、货、场构建的电商体系中，「招、选、搭、投」分别是营销活动的最核心的节点。「招」指的是招商, 它是整个活动的起点，它决定了哪些商家、哪些商品参加活动，以什么价格参加活动，提供什么样的权益和玩法，在导购链路上的素材是有哪些。「选」是选品，根据一系列特征指标的组合，从招商报名的商品中，筛选出高质量且符合投放场景的商品集合，如圈选出女装类目下最近 30 天销量大于 1000 的商品用于展示在女装会场。「搭」是页面搭建，运营用可视化的平台，配置出来一个会场有哪些模块，长什么样子。「投」

2023-11-03 10:28:12 2035

原创 Khronos: 面向万亿规模时间线的性能监控引擎建设实践

指标数据采集的入口是部署在各个物理机上的指标采集模块 kmon-agent。kmon-agent 会将本地采集的原始指标降精度（down-sample）为 4 个精度：20 秒、1 分钟、10 分钟、60 分钟，并将降精度后的数据，写入该租户对应的 4 个消息队列（MessageQueue）中。Khronos 会直接消费消息队列中的数据。

2023-10-25 11:34:57 2124

原创「我在淘天做技术」双 11 背后的营销技术体系

在数字化时代，营销创意的落地非常依赖技术的可行性。比如，AR、VR 和智能设备等新兴技术正在改变营销方式和消费者体验。可以利用这些技术来打造更具创意和互动性的营销活动。

2023-10-25 11:31:15 1515

原创「我在淘天做技术」一篇文章告诉你商品团队在做哪些有意思的事？

作者:许令波(君山)商品在电商里是个基础域，我们可以把商品比作“血液”，它需要在电商体系里面健康、畅通和智能地运转，所以保障商品本身的质量、标准化以及知道消费者需要商品什么信息非常重要，这也是我们这边团队最重要的职责。我们的用户首先是商家，商家发布商品需要用到发布系统，例如商家发布服饰的商品，需要给最新的衣服的吊牌和水洗标的拍好照片，同时也需要拍一些模特图照片以及尺码图。有了这些基础素材后，直接就能生成商品的基础信息了，包括标题、衣服材质、衣服的外观特质如袖长、领型等信息，商家只要根据每种颜色和尺码信息设置

2023-10-18 10:40:21 1696

2021阿里研究生态报告集

空空如也