如何用AI创造一个孙悟空：基于昇思MindSpore打造多模态风格化对话助手

在当今社会，随着技术的飞速发展，人工智能在多个领域的应用变得日益广泛。特别是在教育、客户服务和心理咨询等领域，人工智能的应用不仅能提高效率，还能解决人力资源的局限性。然而，这些领域的服务需求通常需要高度个性化的交互和24小时不间断的支持，这对传统的服务模式提出了极大的挑战。此外，特殊群体如阅读障碍学生需要更具针对性和可访问性的教育辅导，而现有的技术解决方案在满足这一需求方面仍显不足。同时，大模型在实际应用中可能出现的幻觉问题，如生成不准确或不相关的内容，也是一大技术难题。

风格化：让AI更有趣

基于上述背景，北京师范大学Mate60 Pro团队在京津冀·昇思MindSpore创新训练营活动中开发了基于昇思MindSpore的多模态风格化对话助手——MSCA（MindStyle Chat Assistant）。此项目的核心目的在于通过高度个性化的对话体验，来解决教育教学、文化传承和心理治疗中的实际需求。通过模拟如孙悟空、鲁迅等经典文学作品中的人物风格，MSCA不仅可以为学生提供更生动、更具吸引力的学习体验，还可以通过这些文化符号的传承，加深用户对文化的理解和感受。此外，MSCA可以提供24小时的心理咨询服务，特别是在模仿熟悉的亲人或知心哥哥姐姐时，可以为用户创造一个更舒适和亲切的咨询环境，这对于处理心理健康问题尤为重要。

技术解析：多模态融合

1、通过在西游记原著中截取孙悟空风格的对话内容，自己构建数据集：

2、基于ChatGLM2 6B模型，采用IA3微调技术，用自制的数据集对模型的输出风格做微调。考虑到ChatGLM 6B模型参数量比较小，为了使模型具有更丰富的知识，使用了检索增强生成(RAG)技术，丰富模型知识体量。

3、最后，使用RVC-Boss/GPT-SoVITS，基于西游记中孙悟空配音的音频，训练好孙悟空的音色，并将模型输出的文字转化成孙悟空音色的音频。以此来达到输出的文字和语音上都具有孙悟空特色的回答。

在本项目中，MindSpore NLP套件提供了便利的接口，用少量的代码即可实现大模型的微调任务。最终项目实现了孙悟空风格的输出、百度搜索自动化功能，以及将模型的输出转化成符合孙悟空音色的音频输出。

项目链接：

https://pangu.huaweicloud.com/gallery/asset-detail.html?id=da70934c-543e-47c2-9f2b-0161c042ea7b

Mate60 Pro团队成员：

陶宁宁 北京师范大学系统科学学院 系统科学专业

徐俊达 北京师范大学人工智能学院 人工智能专业

唐  聪 北京师范大学人工智能学院 计算机科学与技术专业

更多推荐

昇思MindSpore2.3版本已经正式上线，增强动/静态图与大模型能力，欢迎体验！详细特性介绍请戳下文了解。

安装信息：https://www.mindspore.cn/install