搜狐新闻Hybrid AI引擎端侧离线大语言模型探索

本文字数：3027字

预计阅读时间：20分钟

01

一、导读

•       LLM 以及移动平台落地趋势

•       搜狐AI引擎内建集成离线可运行的GPT模型

•       Keras 定制预训练模型

•       TensorFlow Lite converter 迁移到移动设备

02

二、LLM

1.1什么是LLM

LLM（Large Language Models）大语言模型，是机器学习模型的一种，它由大量的文字数据生成各种的NLP（自然语言处理）任务。比如问答，翻译，补全句子等。

LLM 通常很大，因为它的训练数据通常需要大量的文本。但是它的核心任务只有一个，就是预测句子中下一个“词”是什么。

1.2LLM目前落地到移动端存在的问题

• LLM的运算负担很重，一次运算需要服务器运行数秒，性能差的服务器甚至需要数分钟。这对大规模移动端并发商用落地，是巨大的挑战；

• 就像小白兔面对老狐狸，个体数据隐私在海量数据训练过的大模型面前，十分脆弱，个人隐私一览无余；

• 当你必须要全裸，你会选择在家里（端上），还是到大街上（云上）？所以行业的共识是：大语言模型端侧离线前置，一定是未来的技术方向；

• 大语言模型离线前置，目前主要问题在于对内存负担较大，相比普通常见的机器学习模型，大语言模型本身远远超过了移动端设备的可用内存极限。

1.3端侧大语言的趋势

几乎没有一家手机厂商愿意错过将大模型集成到手机中的机会。然而，将参数动辄达到百亿、千亿级的大模型放入小小的手机端并非易事。

2023年8月4日，华为宣布HarmonyOS 4接入AI大模型。通过AI大模型的赋能，华为智慧语音助手小艺在智慧交互、高效生产力和个性化服务三个方向持续增强：

2023年8月，小米官方宣称“小米全面拥抱大模型”后，10月就通过小米集团和顺为资本投资了王小川的大模型公司百川智能：