香侬科技Service Streamer：加速深度学习Web服务、极大提高GPU利用率。| 百万人学AI评选

最新推荐文章于 2024-08-10 07:59:26 发布

Top30+评选

最新推荐文章于 2024-08-10 07:59:26 发布

阅读量1.4k

点赞数 1

分类专栏： 2020年【百万人学AI】评选活动香侬科技 ServiceStreamer 文章标签：深度学习机器学习 gpu web service

本文链接：https://blog.csdn.net/weixin_37986590/article/details/106436883

版权

香侬科技开源的Service Streamer中间件解决了深度学习模型在线服务时GPU资源浪费的问题，通过排队组成batch提升效率，降低延迟，提高GPU利用率，适用于所有深度学习框架和Web框架。项目已在GitHub上获得广泛关注，推动了深度学习模型Web服务的加速发展。

摘要由CSDN通过智能技术生成

2020 无疑是特殊的一年，而 AI 在开年的这场”战疫“中表现出了惊人的力量。站在“新十年”的起点上，CSDN【百万人学AI】评选活动正式启动。本届评选活动在前两届的基础上再度升级，设立了「AI优秀案例奖Top 30」、「AI新锐公司奖Top 10」、「AI开源贡献奖Top 5」三大奖项。我们相信，榜样的力量将成为促进AI行业不断发展的重要基石，而CSDN将与这些榜样一起，助力AI时代的”新基建“。

活动官网：https://bss.csdn.net/m/topic/ai_selection/index

申报地址：http://csdnprogrammer.mikecrm.com/WpA03hJ

一、公司简介

北京香侬慧语科技有限责任公司（以下简称“香侬科技”），专注于人工智能、深度学习、机器学习等技术的研发，从成立之日起，就希望发展成为具有中国文化特色、立足于中国本土的全球技术领先人工智能公司，所以香侬科技是全球第一家专门针对中文提出基于中文的自然语言处理模型的公司。此外，香侬科技一直以来都非常重视基础科学和技术创新性的研究，累积在自然语言处理顶级会议发表文章50余篇。

除了重视基础研究外，香侬科技也同样重视技