20240110 大模型应用快讯

百度董事长兼CEO李彦宏曾说：“创业公司卷大模型没有意义，卷应用机会更大。”

1. 荣耀出品MagicOS 8.0

   由荣耀出品，研发7B的魔法大模型，通过量化压缩等手段部署在手机端侧运行。端侧大模型可以在保证个人数据隐私的同时，实现AI能力的个性化定制。魔法大模型加持的MagicOS本质上还是一个智能体，它可以根据用户的意图，例如从用户的短信中预判出差时间地点，智适应调度差旅App，提供订票信息。

2. 基于FPGA的大模型推理流程FlightLLM

   由无问穹芯、清华大学和上海交大联合推出，基于FPGA部署LLAMA2-7B，解决了大模型稀疏模式带来的计算效率低下，decode阶段导致的低带宽利用率和动态性引发的编译开销大等问题。推理速度优于V100s，能效超过V100s和A100。

   原文：FlightLLM: Efficient Large Language Model Inference with a Complete Mapping Flow on FPGAs

   论文来源：https://arxiv.org/pdf/2401.03868.pdf

3. 提升口语的虚拟人Hi Echo

   由网易有道推出，可实现与用户的近实时陪聊，提供口语打分报告和语言表达的AI润色建议和对话提示。