![](https://img-blog.csdnimg.cn/2019092715111047.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
大模型
文章平均质量分 95
研究各种aigc相关大模型的理论部分
万里鹏程转瞬至
一名热爱深度学习算法实践的算法工程师,工作日长期活动在线,有项目研发技术问题均可私聊。
展开
-
论文阅读:RAM++ | Open-Set Image Tagging with Multi-Grained Text Supervision
发表时间:2023年11月16论文地址:https://arxiv.org/pdf/2310.15200项目地址:https://github.com/xinyu1205/recognize-anythingRecognize Anything Plus Model(RAM++),这是一种有效利用多粒度文本监督的开放集图像标记模型。以前的方法(例如,CLIP)主要利用与图像配对的全局文本监督,导致在识别多个单独的语义标签方面的次优性能。相比之下,RAM++无缝地集成了单个标签监督(tag。原创 2024-06-16 22:06:07 · 930 阅读 · 0 评论 -
论文简读 LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS
LORA是什么?LORA是一个解决大模型finetune的技术。现行的大模型(如GPT3,参数量175B)的训练微调成本比较高,一次训练需要几个月才能完成,这提高了nlp大模型的准入门槛。大模型finetune的目的是为了将通用领域的大模型能力迁移到专业领域(下游应用环境), 因为直接在专业领域训练nlp模型存在难以收敛的风险(nlp的专业领域应用需要通用领域的词汇嵌入支持`提供初级词汇理解能力`,在通用领域的大数据规模下训练后可以增强词汇嵌入能力,再进行专业领域训练。通俗来说,LORA技术就像一个化原创 2023-09-08 21:32:57 · 1165 阅读 · 1 评论