无数据不智能-CSDN博客

原创提高LLaMA-7B的数学推理能力

这篇文章探讨了利用多视角微调方法提高数学推理的泛化能力。数学推理在相对较小的语言模型中仍然是一个挑战，许多现有方法倾向于依赖庞大但效率低下的大语言模型进行知识蒸馏。研究人员提出了一种避免过度依赖大语言模型的新方法，该方法通过有效利用具有不同注释格式的现有数学问题数据集来进行训练。区别于过去的方法，该方法充分考虑不同的注释格式，并在训练模型时利用它们。模型通过在输入问题后附加不同的指令来灵活地学习生成多种格式的解决方案。

2023-07-18 18:17:40 723

原创使用更少数据训练更好的alpaca

该论文的研究背景是指令微调在大型语言模型中取得了重要的成果，但现有的训练数据质量问题导致模型性能下降。过去的方法主要是使用低质量的数据进行指令微调，这些数据中存在错误或无关的回答，导致结果误导和训练成本增加。该论文的方法是通过自动识别和删除低质量数据来提升模型性能，这是一种简单且有效的数据选择策略。该论文提出了ALPAGASUS方法，利用强大的语言模型(ChatGPT)对5.2k ALPACA数据进行筛选，从中选择出9k高质量数据进行微调。

2023-07-18 18:14:45 1248

原创 tablegpt: 实现表格、语言和指令的统一

本文研究背景是实现对表格、语言和指令的统一。以往的方法在处理表格数据时使用复杂的Excel公式或手工编程操作，存在着处理效率低下、困难等问题。本方法提供了一种方便、高效、无需依赖外部API接口的表格数据处理框架。本文提出了TableGPT框架，通过联合训练大型语言模型（LLMs）在表格和文本模态下，实现对表格数据的全面理解和复杂操作。本方法在问题解答、数据操作、数据可视化等方面取得了良好的性能表现，并且支持数据流程、查询拒绝和私有部署等功能，提高了框架的适用性和效率。

2023-07-18 18:12:59 604

原创利用大模型进行法律判决预测

本文研究背景是法律专业人员常用的演绎推理方法，即法律演绎，用于案例分析。过去的方法主要是通过学习、微调或示例来教授大型语言模型（LLM）进行法律判决预测。这些方法存在的问题是学习样本有限，解释性差。因此，本文提出了面向法律判决预测的简单提示方法——法律演绎提示（LoT），使模型能够根据法律大前提、事实小前提以及结论进行演绎推理并给出判决，无需学习、微调或示例。本文提出的研究方法是使用法律演绎提示教授LLMs进行法律判决预测。该方法使模型能够集中于与判决相关的关键信息，并正确理解行为的法律含义。

2023-07-18 18:09:21 586 1

原创量化之后大模型的能力退化了多少

本文的研究背景是大语言模型的部署和使用需要大量的计算资源。为了解决这个问题，常常采用量化方法来减少模型的内存占用和提高推理速度。然而，低位量化常常会导致性能退化。因此，本文旨在研究量化对大语言模型紧急能力的影响。过去的方法主要关注整体性能，而本文关注量化对紧急能力的影响。先前的方法没有很好地解决低位量化引起的性能退化问题。因此，本文提出了一种基于量化的性能补偿方法来改善低位模型的性能。本文的研究方法是通过实验来分析量化对大语言模型紧急能力的影响。

2023-07-18 18:08:36 649

原创 think-on-graph: 基于知识图谱的大模型推理

本文的研究背景是大规模语言模型在复杂推理任务中存在困难并展示了较低的性能，特别是在需要知识的追溯能力、及时性和准确性的场景中。过去的方法主要面临两个问题：推理不负责任容易生成虚构或带有有害文本，以及模型在预训练阶段无法提供超出所学知识范围的专业知识。本文的方法通过整合外部知识库，特别是知识图谱，来解决这些问题。本文提出了Think-on-Graph（ToG）框架，利用知识图谱增强大规模语言模型进行深入和负责任的推理。该框架通过识别与给定问题相关的实体，并从外部知识数据库中检索相关三元组，进行探索和推理。

2023-07-18 18:07:25 469

原创利用大模型进行公司估值

本文研究背景是公司估值领域中通过识别可比公司进行估值分析的方法。过去的方法通常依赖于定性的方式来识别相似的同行公司，使用已建立的行业分类方案和/或分析师的直觉和知识。然而，最近的文献和私募股权行业越来越多地采用了定量方法，特别是机器学习聚类和自然语言处理（NLP）。本文提出的方法使用大型语言模型（LLMs）（如openaAI的GPT）从可以公开获取的公司维基百科网站上提取公司描述/摘要，并进行相似性分析。与传统的使用手动注释的标准命名实体识别（NER）相比，本文展示了更高的精确度和成功率。

2023-07-17 19:09:17 100

原创大模型作为个人理财顾问

这篇论文的研究背景是关于使用大型语言模型 (LLM) 作为财务顾问的潜力和问题。过去的方法包括基于人工智能技术的ChatGPT和Bard等聊天机器人，然而，在个人理财领域使用LLM的聊天机器人仍存在准确性和可靠性方面的关键缺陷。本文的方法是鉴别LLM在个人理财决策中的表现，并探讨其优化决策结果的潜力。本文采用调查问卷和实验方法，在个人理财领域中使用LLM聊天机器人回答各种财务问题，并评估其准确性和可靠性。

2023-07-17 19:06:05 95

原创将知识图谱融合在大模型文章生成上

本文的研究背景是利用大型语言模型进行零样本自然语言生成。目标是将知识图谱中的结构化数据转换成人类可理解的文本。过去的方法主要是基于模板的，但在数据规模较小的情况下表现有限。本文提出了利用大型语言模型进行零样本生成的方法来解决这一问题。本文的研究方法是使用预训练的大型语言模型，并根据模型对三元组结构的理解进行零样本生成。本文在WebNLG 2020挑战赛上展示了ChatGPT模型的近乎最优性能，但在某些指标上稍逊一筹。

2023-07-17 19:01:22 428

原创增强大模型文档问答的候选段落筛选

本文研究背景是大型语言模型（LLMs）在上下文学习领域取得了出色的表现，但在选择上下文示例的质量上仍存在挑战。以前的方法包括使用BM25算法或现成的句子嵌入进行示例检索，但存在质量不高和无法有效利用LLMs反馈信息的问题。本文提出的方法是基于迭代训练的，通过训练密集的检索器来选择高质量的上下文示例。本文的研究方法是首先通过LLMs的反馈训练奖励模型来评估示例的质量，然后通过知识蒸馏来训练基于双编码器的密集检索器。

2023-07-17 18:55:15 120

原创基于大模型的属性操作生成高效训练数据

概述这篇论文的研究背景是关于利用大型语言模型(LLM)生成高效训练数据的方法。以往的方法通常是通过LLM生成新的数据，但缺乏对生成数据的控制，这导致了生成数据的信息不足以反映任务要求。本文提出了一种基于LLM的属性操作生成方法，通过精心构造的数据生成与任务属性相关的数据，与以往的方法相比可以更好地控制生成数据的质量。本文提出的方法是通过使用链式思维将LLM操作分解和重构，从而控制生成数据的属性操作。这种方法可以在仅有少量样本的情况下，通过对LLM的操作生成高质量的训练数据，并用于提升少样本学习的性能。

2023-07-17 18:37:14 188

原创利用大模型预测股票的方法

例如，对于每周预测，我们将本周与上周之间的价格变化分为12个区间：“D5+”，“D5”，“D4”，“D3”，“D2”，“D1”，“U1”，“U2”，“U3”，“U4”，“U5”，“U5+”，其中“D5+”表示价格下降超过5%，“D i”（i=5,4,3,2,1）表示价格下降在(i-1)%到i%之间，“U5+”表示价格上涨超过5%，“U i”（i=1,2,3,4,5）表示价格上涨在(i-1)%到i%之间。为了识别相似的股票，我们用一个问题来查询GPT-4，如“列出纳斯达克最相似的3只股票”。

2023-07-15 20:14:53 588

原创 Baichuan-13B：130亿参数的开源语言模型，引领中文和英文benchmark

Baichuan-13B具有以下几个特点：首先，它比之前的Baichuan-7B模型参数更多、尺寸更大，达到了130亿参数，并在高质量的语料上进行了1.4万亿tokens的训练，比LLaMA-13B模型多出了40%的训练数据量，是目前开源的13B尺寸模型中训练数据量最大的。再次，该项目同时开源了预训练模型和对齐模型，预训练模型作为开发者的基础模型，而对齐模型则具备强大的对话能力，可以直接使用且部署简单。Baichuan-13B是由百川智能开发的一个开源大规模语言模型项目，包含了130亿参数。

2023-07-14 18:42:08 1310

原创 huggingface新作品：快速和简便的训练模型

安装您可以通过PIP安装AutoTrain-Advanced的Python包。请注意，为了使AutoTrain Advanced正常工作，您将需要python >= 3.8。请查看这里的说明：https://github.com/git-lfs/git-lfs/wiki/Installation。AutoTrain Advanced是一个用于训练和部署最先进的机器学习模型的工具。它旨在提供更快速、更简便的方式来进行模型训练和部署。项目：huggingface/autotrain-advanced。

2023-07-14 18:39:30 413 1

原创大模型辅助知识图谱工程

本文研究背景是知识图谱工程在知识组织和数据管理方面的重要性，以及AI技术在这一领域的潜在应用价值。之前的方法主要依赖人工专家进行知识图谱工程的开发和管理，存在时间消耗长、资源密集、容易出错等问题。本文通过使用LLM模型ChatGPT，提出了一种新的方法来辅助知识图谱工程，以减轻人工专家的工作负担。本文的研究方法是通过ChatGPT模型进行实验，探索其在知识图谱工程中的潜在应用，包括开发和管理知识图谱的各类任务。

2023-07-14 18:34:51 150

原创将大模型集成到语音识别系统中的例子

本文旨在探索将大型语言模型（LLMs）集成到自动语音识别（ASR）系统中以提高转录准确性的潜力。文章介绍了目前的ASR方法及其存在的问题，并对使用LLMs的上下文学习能力来改进ASR系统的性能进行了合理的动机论证。本文设计了使用Aishell-1和LibriSpeech数据集的实验，通过与ChatGPT和GPT-4进行对比，评估LLMs在ASR应用中的能力。然而，初步的实验结果并不理想，表明利用LLMs的上下文学习来纠正语音识别转录中的错误仍然是一项具有挑战性的任务。

2023-07-14 18:32:07 2107 1

原创大模型综述，看这篇论文就够了

这篇文章的研究背景是大规模语言模型的发展和广泛应用。研究人员意识到通过深度学习技术和神经网络架构的进步，可以创建出具有接近人类水平表现的大规模语言模型。过去的方法包括改进现有架构和训练策略、增加上下文长度、使用高质量的训练数据以及增加训练时间来提高性能。然而，这些方法存在一些问题，比如训练的不稳定性和泛化能力的限制。本文的方法是通过综合分析不同大规模语言模型的架构、训练策略、训练数据集和性能评估，从而提出一种新的研究方法和技术来改善训练稳定性和泛化能力。

2023-07-14 18:30:10 295

原创 Haystack：建立端到端的NLP应用程序的工具箱

Haystack是一个端到端的自然语言处理（NLP）框架，可以使用语言模型、Transformer模型、向量搜索等功能来构建NLP应用程序。无论您想进行问题回答、答案生成、语义文档搜索，还是构建能够进行复杂决策和查询解决的工具，都可以使用Haystack中的先进NLP模型来解决您的问题。核心概念 🏃‍♀️ 管道：这是Haystack的标准结构，可以连接到您的数据并执行您定义的NLP任务。您可以定义节点之间的交互方式以及一个节点如何将数据推送到下一个节点。一个示例管道可以包括一个检索器节点和一个阅读器节点。

2023-07-13 22:18:17 915

原创解放研究者：GPT自动化科研

受到AutoGPT和最近的Plan-and-Solve论文的启发，GPT Researcher 解决了速度和确定性的问题，通过并行化代理工作而不是同步操作，提供更稳定的性能和更快的速度。而GPT Researcher通过自动化高效的在线研究能力，能够为用户提供准确、全面和及时的信息，大大节省了研究时间和精力。通过使用GPT Researcher，用户可以快速获得准确可靠的研究结果，提高研究效率，为决策和判断提供有力支持。我们的使命是通过利用人工智能的力量，为个人和组织提供准确、公正和事实性的信息。

2023-07-13 22:14:23 1997

原创 FastEdit ⚡：在10秒内编辑大型语言模型

{ "prompt": "The prime minister of the {} is", "subject": "UK", "target": "Rishi Sunak", "queries": [] } ] 在这个格式中，"prompt"字段表示用于插入知识的模板，"subject"表示主体，"target"表示目标，"queries"表示附加的查询信息。概述：这个仓库旨在通过一个单一的命令，有效地将新鲜且定制化的知识注入到大型语言模型中，以辅助开发人员的工作。○ 一阶模型编辑 (ROME)

2023-07-13 22:12:55 1096

原创探索大模型在网络求职推荐中对图数据的理解

概述本文的研究背景是在求职推荐领域中，利用大型语言模型对图数据进行理解。过去的方法通常将求职匹配问题视为一种有监督的文本匹配问题，使用配对数据进行训练。然而，在在线求职平台上，交互数据通常很稀疏。本文的方法通过利用大型语言模型提供的上下文信息和语义表示来分析行为图，并揭示其中的模式和关系，从而改善求职推荐的相关性和质量。他们的方法是有前瞻性的。本文提出了一种新的框架，利用大型语言模型的推荐器来理解行为图，并设计了相应的路径增强模块，以减轻基于路径的序列输入引入的提示偏差。

2023-07-13 22:07:52 48

原创支持检索增强的基于gpt-3.5的text-to-sql框架

本文的研究背景是Text-to-SQL任务，即将自然语言问题转换为结构化查询语言，以便用户能够从数据库中获取所需信息。过去的方法是通过设计提示来引导大型语言模型（LLM）理解输入问题并生成相应的SQL。然而，由于SQL具有严格的语法要求，现有方法面临挑战。现有方法使用一组演示示例（即问题-SQL对）对LLM进行提示生成SQL，但固定的提示难以处理检索到的示例与输入问题之间的语义差距大的情况。因此本文提出了一种检索增强的提示方法，针对基于LLM的Text-to-SQL框架进行改进。

2023-07-12 23:16:01 131

原创大模型的局限性调研

这篇文章研究的背景是关于大型语言模型在人工通用智能领域的不足之处。过去的方法主要使用标准化测试和以能力为导向的基准评估大型语言模型(LLMs)，但是这些评估方法存在一些问题，容易夸大LLMs的能力。作者提出了人工通用智能应包含LLMs能力之外的四个特征，并指出了当前评估方法的问题。本文提出了知行统一的研究方法，强调通过与真实世界中的物体的积极互动可以提供更稳健的信号形成概念性表征，知识获取不仅仅依赖于被动输入，还需要反复试错。

2023-07-11 21:11:23 204

原创用大模型解决信息检索的工具包

本文的研究背景是通过使用大型语言模型（LLM）解决信息检索（IR）任务中的训练数据不足的问题。过去的方法包括InPars和Promptagator，但它们的复现性受到了限制，因为InPars基于TPUs，而Promptagator的代码和私有LLM不可公开访问。这篇文章的方法旨在解决这些问题，并提供了一种统一的工具包，实现了端到端的可再现性合成数据生成研究，并支持使用不同的LLM，探索不同的过滤方法以及在生成的数据上微调各种再排序模型。

2023-07-11 21:08:40 171

原创 ChatGPT最新综述

本文的研究背景是ChatGPT是由OpenAI创建的一种基于大量数据进行训练的大语言模型，它对自然语言处理领域产生了革命性的影响，并推动了大语言模型的能力边界。ChatGPT在大规模上实现了广泛的公众与生成人工智能的互动，进而引发了开发相似技术和探索其应用和影响的研究兴趣。过去的方法存在问题，ChatGPT提供了创新的解决方案。ChatGPT采用了玻璃盒和黑盒两种视角，分别从技术的内部运作和作为复杂系统的输入、输出和影响进行考察。这为对该技术进行全面探索提供了道路，并为进一步的研究和实验提供了路线图。

2023-07-11 21:00:19 182

原创消除大模型幻觉问题，一针见血

本文的研究背景是大型语言模型的幻觉问题，这些模型生成的文本往往在连贯性上表现出色，但容易产生“幻觉”，从而降低了它们的可靠性。以往的方法未能有效检测和减轻语言模型的幻觉问题，这一方法提出了主动检测和减轻幻觉的新方法，并通过验证过程确保了幻觉的准确性。本文提出的研究方法包括利用模型的生成概率值识别潜在幻觉候选项，通过验证程序检查它们的准确性，消除已检测出的幻觉，然后继续生成过程。通过在“文章生成任务”上进行广泛实验，本文首先证明了检测和减轻技术的独立有效性。

2023-07-11 20:53:24 460 1

原创 qigen: CPU 上对 LLaMA 模型量化推理

这篇论文的研究背景是在资源有限的用户设备上执行大型语言模型（LLM）的量化推理。过去的方法针对LLM提出了一系列基于量化的方法，但在推理的内存需求方面仍然存在问题。这篇论文提出了一种新的自动生成代码的方法，通过优化硬件特性和特定方法的精度约束，实现了高性能和高准确性的推理。本文提出的研究方法基于目标架构和性能模型，使用自动生成的代码来支持在CPU上进行LLM的量化推理。

2023-07-10 19:42:23 182

原创 int-fp-qsim: 视觉大模型4bit量化之后哪个表现最佳

本文研究了运行大型语言模型和视觉Transformer时降低精度的背景。过去的方法主要集中在8位精度的权重和激活上。最近的技术侧重于在保留FP16激活的情况下，实现4位整数权重的量化[3]，以及权重和激活的4位到3位量化[4]。然而，过去的方法没有在现代大型语言模型和视觉Transformer的背景下进行评估。本研究提出了一个开源仿真器INT-FP-QSim，以灵活地对不同数值格式的大型语言模型和视觉Transformer进行评估。

2023-07-10 19:39:41 123

原创大模型作为工作岗位匹配器

本文的研究背景是为了准确地识别劳动力所需的技能和已具备的技能，自动提取工作岗位所需技能是一项具有挑战性的任务。过去的方法主要利用ESCO框架提供的参考技能清单进行技能提取，但是技能提取仍然困难，并且将工作帖子准确匹配到ESCO分类是一个未解决的问题。本文的方法通过大型语言模型（LLMs）建立了一个全方位的零射击技能提取系统。与以往的方法相比，使用合成数据达到了比以前的远程监督方法高10个点的RP@10分数，并且添加GPT-4重新排序使RP@10比以前的方法提高了22个点以上。

2023-07-10 19:36:21 73

原创 gpt4roi: 基于区域兴趣的指令调优大型语言模型

本文的研究背景是指令调优大型语言模型在图像-文本对上取得了前所未有的视觉-语言多模态能力，但是它们的视觉-语言对齐仅是建立在图像级别上，缺乏区域级别的对齐，限制了其对细粒度多模态理解的发展。过去的方法在视觉-语言模型上已取得了一定进展，但由于缺乏区域级别的对齐，无法实现对细粒度多模态理解的支持。本文的方法通过将边界框重新构建为空间指令的形式，解决了这一问题，并且提出了GPT4RoI模型来实现区域级别的对话与交互体验。本文提出了一种基于区域兴趣的指令调优方法。

2023-07-10 19:28:10 71

原创大模型在图数据上的应用

本文的研究背景是图上学习，特别是在节点分类任务中。图上学习在现实世界中有广泛应用，然而现有的方法在处理图数据中的文本节点属性时存在一些限制。过去的方法主要依赖浅层文本嵌入作为节点的初始表示，这在通用知识和深度语义理解方面存在限制。本文提出利用大型语言模型（LLMs）在图机器学习中的潜力，探索两种可能的方法：LLMs作为增强器和LLMs作为预测器。本文的方法有很好的动机。本文提出了两个可能的方法：LLMs作为增强器和LLMs作为预测器。

2023-07-10 19:24:41 93

原创 gpt-code-ui：让AI为你生成和执行代码

推荐在运行gptcode的shell中使用的Python环境下运行以下pip install命令，以确保基本依赖可用： pip install "numpy>=1.24,<1.25" "dateparser>=1.1,<1.2" "pandas>=1.5,<1.6" "geopandas>=0.13,<0.14" "PyPDF2>=3.0,<3.1" "pdfminer>=20191125,<20191200" "pdfplumber>=0.9,<0.10" "matplotlib>=3.7,<3.8"

2023-07-10 19:17:21 306

空空如也

空空如也