- 博客(7)
- 收藏
- 关注
原创 必看!阿里通义千问完整技术报告
摘要大型语言模型(LLMs)已经彻底改变了人工智能领域,使得以前被认为是人类专属的自然语言处理任务成为实现可能。在这项工作中,我们介绍了QWEN,我们大型语言模型系列的第一个版本。QWEN是一个全面的语言模型系列,包括参数数量不同的不同模型。它包括QWEN,基础预训练语言模型,以及QWEN-CHAT,使用人类对齐技术微调的聊天模型。基础语言模型在多种下游任务中始终表现出优异的性能,而聊天模型,特别是那些使用人类反馈强化学习(RLHF)训练的模型,具有很高的竞争力。聊天模型具有先进的工具使用和规划能力,可用
2024-03-07 14:43:16
2637
原创 大模型如何能够更好的辅助小模型的训练数据生成?
我们假设金标数据集(表示为$\{S_{i}^{(gold)}\}_{i=1}^{n_{gold}}$)是通过从真实世界分布$\mathbb{P}_D\in\mathcal{P}$中独立抽样$n_{gold}$次获得的。让我们首先回顾数据集合成方法中分布差异问题的起源:传统的数据合成方法,以及我们方法中的种子数据集合成阶段,都从固定的分布 $\mathbb{P}_{LLM}^{(0)}$ 中采样数据点。因此,在真实任务数据上,训练在合成数据集上的小型模型的测试性能受到了这一差异的限制。我们进行了两组测试。
2024-03-03 11:02:40
824
原创 从文本使用大模型自a动生成代码:Codex
我们介绍Codex,这是一种在GitHub上公开可用的代码上进行Fine-tuned的GPT语言模型,并研究其Python编写能力。Codex的一个特定生产版本支持GitHub Copilot。在HumanEval上,这是我们发布的新的评估集,用于衡量从文档字符串中合成程序的功能正确性,我们的模型解决了28.8%的问题,而GPT-3解决了0%,GPT-J解决了11.4%。此外,我们发现,重复从模型中采样是一个出人意料的有效策略,用于产生解决困难提示的有效解决方案。
2023-12-09 12:20:56
797
原创 【世界经济论坛】明日职业走向:大语言模型/AIGC引领的工作变革
随着生成人工智能(AI)的不断进展以前所未有的速度,大型语言模型(LLMs)正在崭露头角,具有重新定义工作格局的潜力。这些工具的最新进展,如GitHub的Copilot、Midjourney和ChatGPT,预计将引起全球经济和劳动力市场的重大变化。这些特定的技术进步与来自经济、地缘政治、绿色转型和技术力量的巨大劳动力市场动荡的时期相吻合。世界经济论坛的2023年未来工作报告预测,由于产业转型,包括人工智能和其他文本、图像和语音处理技术,未来五年全球23%的工作将发生变化。
2023-11-12 11:57:28
196
原创 【RAG问答相关】复杂知识库问答综述(下)
大模型落地应用过程中,一般形式还是问答形式,无论是人机对话还是机机对话,都是靠问答来解决一系列问题。无论是要求大模型给出具体的专业化知识,还是要求大模型进行某项作业的开展,都是以问题(指令其实也是一种特殊的问题)的形式进行。所以在RAG中,如何将问题转化为大模型能够理解的问题,转化为各种知识库可以查询的问题,这是应用大模型能力的关键。本次带来的东南大学发表的一篇关于KBQA相关的论文综述。详细介绍了复杂事实性问题的处理框架。我分为上中下三个部分详解这篇论文中关于KBQA相关的内容。
2023-11-12 11:54:36
195
原创 【RAG问答相关】复杂知识库问答综述(中)
基于SP的方法采用一种解析-执行过程,通过一系列模块来实现,包括问题理解、逻辑解析、知识库连接和知识库执行。这些模块在处理复杂的知识库问答(KBQA)时面临不同的挑战。首先,当问题在语义和句法方面都较为复杂时,问题理解变得更加困难。其次,逻辑解析必须涵盖复杂问题的多种查询类型。此外,涉及更多关系和主题的复杂问题将显著增加解析的可能搜索空间。第三,逻辑形式的手动标注成本高昂且劳动密集,使用弱监督信号(即问题-答案对)来训练基于SP的方法具有挑战性。
2023-11-12 11:44:17
108
原创 【RAG问答相关】复杂知识库问答综述(上)
早期的KBQA仅仅包含单一的事实性问题。比如:“谁是《杰夫-普罗斯特秀》的提名人?”这个问题包含头实体《杰夫-普罗斯特秀》,关系:“提名人”。查询的仅仅是知识图谱中三元组事实知识(《杰夫-普罗斯特秀》,提名人,杰夫-普罗斯特)尾实体“杰夫-普罗斯特”。复杂问题通常包含多个主题、表达复合关系或包含数字运算。图片中的问题:谁是第一位获得《杰夫-普罗斯特秀》提名的电视制片人的妻子?头实体和回答实体分别被标记为粗的字体和阴影方块。"多跳"、"约束 "和 "数字 "用黑色虚线框标出。
2023-11-04 14:35:05
92
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人