聚焦QCon：小红书邀你一起探讨高性能网关、LLM 推理加速

最新推荐文章于 2024-09-14 20:37:51 发布

小红书技术REDtech

最新推荐文章于 2024-09-14 20:37:51 发布

阅读量198

点赞数

文章标签：网络 LLM 架构人工智能

本文链接：https://blog.csdn.net/redtech_1024/article/details/135148788

版权

伴随着人工智能的快速发展，大语言模型（Large Language Model）正逐渐改变我们与机器的交流方式。LLM 的发展，引发新一代的内容理解、生成技术热潮，也使得门槛相对较高的数据研发治理领域，有了更加平民化、提供自然语言接口的可能。同时，网络安全也已经成为当下时代不可忽视的重要问题，高性能网关作为一种网络安全设备，其设计的重要性也日益凸显，除了提供安全防御机制和高速数据处理能力之外，还需要结合 LLM 等人工智能技术，以更好地应对网络安全挑战。

12 月 28 日 - 29 日，QCon 全球软件开发大会 将在上海中优城市万豪酒店举办。LLM 推理加速和大规模服务、高性能网关设计、AI 技术与架构... 当前最新的各种技术趋势话题将在本次 QCon 呈现。近百位大咖莅临现场，围绕这些技术趋势和技术特征展开讨论。小红书作为大会的内容共创伙伴，邀您一起参会，共同交流探讨 2024 年的技术规划（文末查看免费门票获取方式）！

12 月 29 日，围绕高性能网关、LLM 推理加速和大规模服务等领域内容，小红书通用网关负责人陈华昌、小红书模型推理优化加速负责人陈磊将在大会现场带来题为《Edith 网关——面向小红书亿级 DAU 的网关大规模实践》和《LLM 模型压缩与推理加速实践》的精彩分享，敬请期待。

精彩演讲

Edith 网关——面向小红书亿级 DAU 的网关大规模实践

12 月 29 日 16:00- 16:55 「高性能网关设计」专题

陈华昌 | 小红书通用网关负责人

上海厅（二层）

作为整个业务产品的流量入口，API 网关将互联网最宝贵的资源“流量”管理得井井有条。它在系统容灾、风控和大数据收集等方面发挥着强大的作用。同时，网关作为业务产品的流量入口，还需要提升自身的技术性能，保证不会被后端某个问题拖累。可以说，API 网关是一个兼顾技术性能与运营效率的系统。

小红书基础技术部通用网关负责人陈华昌将在本次大会上带来主题演讲「Edith 网关——面向小红书亿级 DAU 的网关大规模实践」。陈华昌曾就职于多家头部互联网公司，一直专注于计算机工程领域，专注于基础架构、计算机视觉工程和服务端工程等技术方向。他目前致力于打造符合小红书业务特性的通用 API 网关技术产品方案。

Edith 网关是我们为了更好地适应小红书特有的社交业务模式，解决业务扩展性和微服务治理问题，提高系统稳定性和效率而研发的重要 API 网关产品。本次分享将从 Edith 网关的设计理念、核心功能以及如何在实际业务中发挥关键作用三个方面进行深入剖析。他将介绍网关研发过程中遇到的技术挑战和解决方案，并说明了如何在保障C端用户体验的同时，有效进行服务治理和稳定性建设。

LLM 模型压缩与推理加速实践

12 月 29 日 16:00- 16:55 「LLM 推理加速和大规模服务」专题

陈磊 | 小红书模型推理优化加速负责人

爱那里厅1（三层）

自 ChatGPT 发布以来，大语言模型（LLM）以其令人惊艳的推断和生成能力震惊了世界，标志着强人工智能时代近在眼前。然而，随着 LLM 模型参数规模的不断增加，巨大的存储与计算代价是横在 LLM 模型落地面前的一大难题。因此，在不增加硬件成本的前提下，如何通过工程或者模型的方法降低请求延迟、同时减少高 QPS 时的资源需求，成为至关重要的课题。

小红书模型推理优化加速负责人陈磊将在本次大会上带来主题演讲「LLM 模型压缩与推理加速实践」。陈磊长期从事机器学习系统及云计算平台研发工作，目前担任小红书模型推理优化加速团队技术负责人。

面对当前 LLM 模型落地所面临的问题与挑战，小红书模型推理优化加速团队在模型压缩、算子加速以及分布式推理框架等多个方向上齐头并进，实现对 LLM 模型线上推理的综合提速，团队在多款 LLM 模型上取得了业界一流水平的推理性能。本场演讲他将从模型压缩、算子加速以及分布式推理框架研发等多方面，分享小红书在 LLM 模型推理优化方面的最佳实践。