语言模型
文章平均质量分 88
走走走,快去看看世界
这个作者很懒,什么都没留下…
展开
-
GPT-4 Technical Report论文阅读笔记
性能非常好律师资格考试前10%,gpt3.5是后10%在基础的banchmark上的分数也很高这里主要提到的banchmark是MMLU讨论了一个核心挑战,如何去预估大模型的能力也有局限性:容易产生幻觉、context window有限制,不能学习。GPT-4 的能力和局限性带来了重大而新颖的安全挑战,鉴于其潜在的社会影响,我们认为仔细研究这些挑战是一个重要的研究领域。主要介绍的是能力和局限性以及安全性。原创 2023-08-04 20:13:19 · 343 阅读 · 2 评论 -
Alibi位置编码(论文阅读)
关于方法的结论。原创 2023-08-03 15:45:52 · 742 阅读 · 0 评论 -
Toolformer 论文阅读笔记
尽管通用语言模型在很多任务上表现出惊人的效果,但是在一些基础问题上表现的却不好,比如算数、事实查询。在这篇论文中,作者让语言模型自己学习如何使用API并不丢失语言模型的能力。作者提出的Toolformer模型,是一个被训练成自己知道在哪里需要调用API的模型。作者采用了自监督学习,因此不需要额外的资源,仅仅只是每个API的说明。在本文中涉及的API包括计算器、QA系统、搜索引擎、翻译系统、日历。原创 2023-03-18 14:09:13 · 1037 阅读 · 0 评论 -
Visual ChatGPT论文阅读笔记
大的自然语言模型,在自然语言处理任务上展现出了强大的能力,但难以处理视觉任务。同时大的视觉模型在特定的任务上表现的非常好,但受限于输入输出格式等等不如语言模型一样灵活。对于如何让ChatGPT支持多模态聊天这个问题,比较直观的想法是训练一个多模态聊天模型,但是这样做需要耗费大量的数据和计算资源,同时可拓展性也不高。因此作者从Prompt工程出发,构建了Visual ChatGPT,将ChatGPT和22个视觉模型一起包在一个壳里面,组成了Visual ChatGPT。原创 2023-03-17 18:44:00 · 3654 阅读 · 1 评论