PrimiHub 联邦学习大模型开源，打破数据限制，保护数据隐私安全

ChatGPT 掀起的大模型热潮，让各界人士对人工智能大模型的关注度极速提高。

什么是大模型？大模型是指具有大量参数的深度神经网络模型，它们通常可以提供更强大的表达能力和泛化能力，从而提升各种智能服务的性能和质量。大模型在训练的过程中，会面临一个重大挑战：如何获取更多的数据进行训练以及如何保护训练数据的数据隐私？

联邦学习是一种分布式的机器学习范式，能够在保护各自数据隐私的同时，有效地利用用户设备上的海量数据，为大模型提供更丰富和更多样的训练数据。其核心过程是参数的传递，即参与者将自己设备上训练得到的模型参数发送给中心服务器，中心服务器将所有参与者的参数进行聚合和平均，然后将更新后的参数返回给参与者，以此循环进行模型的训练和更新，以实现在保护用户数据隐私和安全的前提下，完成大模型的分布式训练和更新，提高了大模型的训练效率和可持续性。

原语科技开源 PrimiHub 联邦学习大模型

基于此，今日，原语科技在 PrimiHub 上开源了联邦学习大模型，实现了基于联邦学习的大模型训练和预测，它允许多个参与者在保护各自数据隐私的同时，共同训练一个大型的深度神经网络模型。 PrimiHub 联邦学习大模型是一个多模态、多任务、多领域的联邦预训练模型，它可以理解和生成文本，并支持多种语言和场景，并且可以应用于搜索、推荐、对话、翻译、摘要、创作等多个领域，为用户提供更丰富、更精准、更个性化的内容和服务。

PrimiHub 联邦学习大模型是基于 ChatGLM6B，实现了在 PrimiHub 框架中的联邦大模型。ChatGLM6B 是一个多模态、多任务、多领域的预训练模型，它可以理解和生成文本、图像、音频、视频等各种类型的数