nlp
文章平均质量分 82
华农度假村村长
这个作者很懒,什么都没留下…
展开
-
【论文解读】The Power of Scale for Parameter-Efficient Prompt Tuning
前缀调优”的简化版。原创 2023-10-21 15:56:16 · 616 阅读 · 0 评论 -
【论文解读】Prefix-Tuning: Optimizing Continuous Prompts for Generation
在这种情况下,用户可以向 GPT-3 提供一些上下文或提示(prompt),以引导模型生成相关的回复或执行特定任务,而不必重新训练或微调模型。前缀调优(prefix-tuning)将一系列,被称之为前缀(prefix),连续的特定于任务的向量添加到输入中。为了生成每个令牌,LM可以像处理“虚拟令牌”序列一样处理前缀,但与提示不同的是,前缀完全由不对应于真实令牌的自由参数组成。上下文可以通过指导从x中提取什么来影响任务输入x的编码,并且可以通过指导下一个令牌分布来影响任务输出y的生成。原创 2023-10-21 01:08:08 · 844 阅读 · 0 评论 -
【论文解读】Parameter-Efficient Transfer Learning for NLP
以Adapter类为例,在初始化函数中我们可以看到Adapter实际上就是一个(LayerNorm)+ 线性层/PHMLayer + 激活函数。在AdapterLayer类中的add_adapter函数,往每一层中添加了Adapter或者是ParallelAdapter。通过add_adapter调用模型父类ModelAdaptersMixin的add_adapter方法实现增加adapter。3.1.1 _add_adapter_weights函数。原创 2023-10-20 13:25:03 · 1138 阅读 · 1 评论 -
【论文笔记 & fintune 】羊驼
这些开发由两个关键组件提供动力:大型预训练语言模型(LM)和人工编写的指令数据。原创 2023-04-30 17:56:45 · 745 阅读 · 1 评论