前言
这是个人学习生成式ai提示词工程的学习笔记,在之前我自己预训练了一个自己的gpt-2模型,在未来将结合更多现代的架构完善自己的大模型训练和构建,深入学习并广泛涉猎,旨在多模态大语言模型总体观瞻。在目前看来,提示词工程是一项重要工程,对大语言模型应用下沉和拓展各项工作具有重要意义。
为什么选择langchain,langchain具有广泛的开发基础,在应用场景上正在不断提高构建服务的水准,但是目前的各项开发还处于较早期时段,在未来,像这种大规模集成的包体系我想会像第二个hugging face的transformer包一样被广泛应用到各种开发场景上去。
一些抽象且无知的想法
让大语言模型参与到大语言模型的训练
其一,文本的预处理上怎么解决,让现有高质量大语言推动高质量文本生成和整理工作。
其二,模型架构的参与,一个moe架构或者中枢评判架构,快速的语言残差链接和更高水准的真实数据逼近。
其三,类人类反馈学习的方式强化学习,在模型架构上实现动态微调。
langchain介绍
langchain是