- 博客(9)
- 收藏
- 关注
RSS订阅原创 多模态RLHF实现过程
应用场景是什么？众所周知，整个 RLHF (基于人类反馈的强化学习) 分为这么三步：SFT (Supervised Fine-Tuning): 有监督的微调，使用正常的 instruction following 或者对话的样本，来训练模型的基础对话、听从 prompt 的能力；RM (Reward Modeling): 基于人类的偏好和标注，来训练一个能模拟人偏好的打分模型；
2023-11-13 20:03:33
340
原创 多视图聚类
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Markdown编辑器你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar
2023-11-10 21:55:38
401
1
原创 大模型微调技术
对于低资源微调大模型的共同点都是冻结大模型参数，通过小模块来学习微调产生的低秩改变。但目前存在的一些问题就是很容易参数灾难性遗忘，因为模型在微调的时候整个模型层参数未改变，而少参数的学习模块微调时却是改变量巨大，容易给模型在推理时产生较大偏置，使得以前的回答能力被可学习模块带偏，在微调的时候也必须注意可学习模块不能过于拟合微调数据，否则会丧失原本的预训练知识能力，产生灾难性遗忘。
2023-11-10 20:43:44
438
1
原创 生成模型的发展，扩散模型的原理，stable diffusion的实现
Diffusion Model (扩散模型) 是一类生成模型, 和 VAE (Variational Autoencoder, 变分自动编码器), GAN (Generative Adversarial Network, 生成对抗网络) 等生成网络不同的是, 扩散模型在前向阶段对图像逐步施加噪声, 直至图像被破坏变成完全的高斯噪声, 然后在逆向阶段学习从高斯噪声还原为原始图像的过程.
2023-11-01 10:43:33
235
1
原创 多模态大模型MLLM 指令微调相关文章
两年来基于LLM做vision-lanuage任务的一些工作，并将其划分为4个类别：冻住LLM，训练视觉编码器等额外结构以适配LLM，例如mPLUG-Owl，LLaVA，Mini-GPT4，Frozen，BLIP2，Flamingo，PaLM-E[1]将视觉转化为文本，作为LLM的输入，例如PICA(2022)，PromptCap(2022)[2]，ScienceQA(2022)[3]利用视觉模态影响LLM的解码，例如ZeroCap[4]，MAGIC。
2023-10-24 12:01:08
745
原创 GPT系列发展及技术：GPT1到GPT3的发展，InstructGPT的RLHF流程，GPT４
GPT系列的这些模型基于自监督学习，利用大规模文本学习一个语言模型。在此基础上，针对每一个NLP 任务，用有限的标注数据进行微调。这种迁移学习技术推动了 NLP 发展，各项任务都上了一个大台阶。**更为重要的是，产生的“预训练+微调”技术，可用一套技术解决不同语言和不同的 NLP 任务，有效地提升了开发效率。这标志着 NLP 进入到工业化实施阶段。 GPT系列的衍生使得生成类任务面临的难题，因此本文按照如下时间线，主要针对GPT系列的文章进行深入讲解。主要对Transformer、GPT1-GPT3、I
2023-10-23 13:11:15
454
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人