晓理紫-CSDN博客

原创解决在分布式训练时报出But your machine only has: [0]错误

程序可见的显卡数目只有一个，其中可能就是只有一张卡；或者有多张卡但是程序只能看到一个。只检测到一张GPU卡，程序却要使用两张。针对第二个原因只需要设置一下。程序就可以看到多张卡了。

2024-03-26 12:14:16 313

原创解决openai调用出现的valueerror: unknown scheme for proxy url url(‘socks://127.0.0.1:7890/‘)

我使用openai的接口进行调用时，在代码文件中设置了代理如下。如果有all_proxy的设置，使用下面命令设置为空就行。看看有没有出现下面的all_proxy的设置。使用下面命令查看系统的代理设置。

2024-03-14 22:13:22 1183

原创 [晓理紫]每日论文分享(有中文摘要，源码或项目地址)--强化学习等

将分布式能源（der）集成到电力系统中需要更先进的控制机制。用于电压——无功控制（VVC）的控制策略之一是管理电压和无功功率。随着电力系统复杂性的增加，需要开发一种利用深度强化学习（DRL）的自主鲁棒控制机制来提高电网性能并调整电压和无功功率设置。这些调整最大限度地减少了损耗，提高了电网的电压稳定性。在本文中，我们提出了一种新的方法来开发基于DRL的VVC框架和缓解技术，以防止针对DRL模型的训练控制策略的隐形白盒攻击。

2024-03-07 09:00:00 847

原创 [晓理紫]每日论文分享(有中文摘要，源码或项目地址)--大模型

由于注意力计算中大量昂贵的乘加（MAD）矩阵运算，在中央处理器（CPU）上进行大型语言模型推理具有挑战性。在本文中，我们认为现代CPU中有一个罕见的宝石，单指令多数据（SIMD）寄存器，它允许批量超低延迟查找。我们利用CPU的这种独特能力提出了NoMAD-Attention，这是一种高效的注意算法，用寄存器内查找取代了MAD操作。通过硬件感知算法设计，NoMAD-Attention使用对SIMD寄存器的重复快速访问来实现注意力分数的计算，尽管它们的大小非常有限。

2024-03-07 09:00:00 927

原创 [晓理紫]CCF系列会议截稿时间订阅

如果你感觉对你有所帮助，请关注我，每日准时为你推送最新CCF会议信息。》》由于精力有限，今后起就不在CSDN上更新计算机相关会议信息。

2024-03-05 22:09:11 1416

原创 [晓理紫]AI专属会议截稿时间订阅

如果你感觉对你有所帮助，请关注我，每日准时为你推送最新AI专属会议信息。》》由于精力有限，今后起就不在CSDN上更新计算机相关会议信息。

2024-03-05 22:07:28 388

原创 [晓理紫]每日论文分享(有中文摘要，源码或项目地址)--大模型

实用大型语言模型（LLM）服务可能涉及一个很长的系统提示符，它指定了任务的指令、示例和知识文档，并在许多请求中重用。然而，随着生成下一个令牌的成本不断增加，长系统提示会导致吞吐量/延迟瓶颈。序列长度。本文旨在提高涉及长系统提示的LLM服务的效率。我们的关键观察是，在现有的因果注意力计算算法中，处理这些系统提示需要大量冗余的内存访问。具体来说，对于批处理请求，系统提示的缓存隐藏状态（即，键值对）从片外DRAM多次传输到片内SRAM，每次对应于单个请求。

2024-03-04 09:00:00 869

原创 [晓理紫]每日论文分享(有中文摘要，源码或项目地址)--强化学习

具有昂贵特征的分类（CwCF）是一个分类问题，它在优化标准中包括特征的成本。对于每个样本，依次获取其特征，以最大限度地提高准确性，同时最小化获取特征的成本。然而，现有的方法只能处理可以表示为固定长度向量的数据。在现实生活中，数据往往具有丰富而复杂的结构，用XML或JSON等格式可以更精确地描述。数据是分层的，通常包含嵌套的对象列表。在这项工作中，我们用分层深度集和分层softmax扩展了现有的基于深度强化学习的算法，以便它可以直接处理这些数据。

2024-03-04 09:00:00 926

原创 [晓理紫]CCF系列会议截稿时间订阅

如果你感觉对你有所帮助，请关注我，每日准时为你推送最新CCF会议信息。

2024-03-04 09:00:00 1252

原创从头构建gpt2 基于Transformer

如果你感觉对你有所帮助，请关注我。源码获取 VX关注晓理紫并回复“chatgpt-0”

2024-03-03 15:50:46 381

原创简单实现Transformer的自注意力

如果你感觉对你有所帮助，请关注我。源码获取：VX关注并回复chatgpt-0获得假如有八个令牌，现在想让每一个令牌至于其前面的通信，如第5个令牌不与6,7,8位置的令牌通信（这是未来的令牌），只与4,3,2,1位置的令牌通信。因此只能通过以前的上下文信息猜测后面的;一种弱的通信方式是取前面的平局值。如5位置==5,4,3,2,1位置上的平局值。单头自注意力。

2024-03-03 15:38:45 331

原创 [晓理紫]每日论文分享(有中文摘要，源码或项目地址)--大模型、扩散模型

我们推出SongComposer，这是一款为歌曲创作而设计的创新LLM。通过利用LLM的能力，它可以理解并生成象征性歌曲表示中的旋律和歌词。现有的与音乐相关的LLM将音乐视为量化的音频信号，而这种隐式编码导致编码效率低和灵活性差。相比之下，我们求助于象征性的歌曲表现，这是人类为音乐设计的成熟而高效的方式，并使LLM能够像人类一样明确地创作歌曲。

2024-02-29 09:00:00 1131

原创 [晓理紫]每日论文分享(有中文摘要，源码或项目地址)--强化学习

主要依赖于自我监督学习的机器人系统有可能减少学习控制策略所需的人工注释和工程工作量。与先前的机器人系统利用来自计算机视觉（CV）和自然语言处理（NLP）的自我监督技术的方式相同，我们的工作建立在先前的工作基础上，表明强化学习（RL）本身可以被视为自我监督的问题：学习在没有人类指定的奖励或标签的情况下达到任何目标。尽管看起来很有吸引力，但很少有（如果有的话）先前的工作证明了自我监督的RL方法如何实际部署在机器人系统上。

2024-02-29 09:00:00 904

原创 [晓理紫]CCF系列会议截稿时间订阅

如果你感觉对你有所帮助，请关注我，每日准时为你推送最新CCF会议信息。

2024-02-29 09:00:00 1108

原创 [晓理紫]CCF系列会议截稿时间订阅

如果你感觉对你有所帮助，请关注我，每日准时为你推送最新CCF会议信息。

2024-02-24 22:01:02 862

原创 [晓理紫]每日论文分享(有中文摘要，源码或项目地址)--强化学习等

本文提出了一种基于联邦多智能体深度强化学习（Fed-MARL）的分布式资源分配方案，以解决车载网络中的信道分配和功率控制问题。我们通过利用深度强化学习和联合学习来解决公式化的资源优化问题，以满足车辆到基础设施（V2I）和车辆到车辆（V2V）链路的不同服务质量要求。具体来说，我们建议用联合学习来增强传统的强化学习方法，包括深度Q网络和近似策略优化，以获得两种有效的基于Fed-MARL的车载网络资源分配算法。

2024-02-24 21:58:35 1012 4

原创 [晓理紫]每日论文分享(有中文摘要，源码或项目地址)--大模型、扩散模型

教育中的评估随着时间的推移而发展，并建立了获取学生学业进步信息的新方法。然而，人工智能（如ChatGPT）的出现给评估过程带来了挑战，因为学生可以使用这些技术来解决问题和任务，而无需学习。这项研究的重点是推荐替代教育资源进行评估，考虑ChatGPT和其他人工智能的利弊。进行了系统的文献综述和笔试、Kahoot！、Quizlet、Mentimeter和Nearpod在Microsoft Excel中设计的工具中进行了识别和评估，以评估其有效性。

2024-02-24 21:54:14 1094

原创大模型综述总结--第一部分

2.1 大语言模型的扩展法则KM扩展法则：Chinchilla 扩展法则2.2 大语言模型的涌现能力上下文学习能力(ICL)：假设为大语言模型提供了一个自然语言指令、或几个任务的演示，它可以通过完成输入文本的单词序列的方式为测试实例生成预期的输出而无需而外的训练或者梯度更新(通过提高的实例就可以学会对应的任务不需要进行而外的训练)指令遵循：通过使用自然语言描述的混合任务数据集进行微调（指令微调），LLM可以在未见过的指令形式描述的任务表现出色。(泛华能力强)

2024-02-23 22:52:58 939

原创 # CCF系列会议截稿时间订阅

晓理紫]CCF系列会议截稿时间订阅！

2024-02-22 08:54:22 213

原创 [晓理紫]AI专属会议截稿时间订阅

date_location: October 14-18, 2024. Abu Dhabi, UAE.desc: robotics(机器人)website: https://iros2024-abudhabi.org/date_location: August 09-12, 2024. Amherst, Massachusetts, USA.desc: machine learning(机器学习)website: https://rl-conference.cc/date_location: Septemb

2024-02-22 08:51:36 68

原创 [晓理紫]每日论文分享(有中文摘要，源码或项目地址)--强化学习、模仿学习、机器人

利用将不同模态与相同语义嵌入空间对齐将允许模型更容易理解状态和动作的直觉，我们提出了离线强化学习（RL）挑战的新视角。更具体地说，我们通过整合多模态和预训练的语言模型，将其转化为监督学习任务。我们的方法结合了从图像中获得的状态信息和从文本中获得的动作相关数据，从而增强了RL训练性能并促进了长期战略思维。我们强调对语言的语境理解，并展示了RL中的决策如何受益于将状态和行为的表征与语言的表征结合起来。在Atari和OpenAI健身房环境中进行的评估证明，我们的方法明显优于当前的基线。

2024-02-22 08:48:50 349

原创 [晓理紫]每日论文分享(有中文摘要，源码或项目地址)-大模型、扩散模型等

在本文中，我们介绍了BiMediX，这是第一个专家LLM双语医学混合体，旨在实现英语和阿拉伯语的无缝交互。我们的模型促进了英语和阿拉伯语的广泛医疗互动，包括多轮聊天以询问更多细节，如患者症状和病史、多项选择问题回答和开放式问题回答。我们提出了一个半自动的英语到阿拉伯语的翻译管道，通过人工提炼来确保高质量的翻译。我们还介绍了阿拉伯医学法学硕士的综合评估基准。

2024-02-22 08:44:10 50

原创 [晓理紫]每日论文分享(有中文摘要，源码或项目地址)--大模型、扩散模型

2024-02-06人类拥有识别和操纵抽象结构的非凡能力，这在几何领域尤其明显。认知科学的最新研究表明，神经网络没有这种能力，并得出结论，人类的几何能力来自人类心理表征中的离散符号结构。然而，人工智能（AI）的进展表明，在模型大小和训练数据量方面扩大标准架构后，神经网络开始表现出更像人类的推理。在这项研究中，我们回顾了认知科学中关于几何视觉处理的经验结果，并确定了几何视觉处理中的三个关键偏差：对复杂性、规律性以及对部分和关系的感知的敏感性。

2024-02-20 09:00:00 30

原创 [晓理紫]每日论文分享(有中文摘要，源码或项目地址)--强化学习、机器人

受XLand的多样性和深度以及MiniGrid的简单性和极简主义的启发，我们推出了XLand-MiniGrid，这是一套用于元强化学习研究的工具和网格世界环境。XLand-MiniGrid是用JAX编写的，它被设计成高度可扩展的，并且有可能在GPU或TPU加速器上运行，从而在有限的资源下实现大规模实验的民主化。除了环境之外，XLand-MiniGrid还提供了预采样基准，其中包含数百万个不同难度的独特任务和易于使用的基线，允许用户快速开始训练自适应代理。

2024-02-20 09:00:00 60

原创 [晓理紫]CCF系列会议截稿时间订阅

如果你感觉对你有所帮助，请关注我，每日准时为你推送最新CCF会议信息。

2024-02-20 09:00:00 40

原创 [晓理紫]AI专属会议截稿时间订阅

如果你感觉对你有所帮助，请关注我，每日准时为你推送最新AI专属会议信息。

2024-02-20 09:00:00 93

原创 [晓理紫]每日论文分享(有中文摘要，源码或项目地址)--大模型、扩散模型等

2024-02-18 09:00:00 664

原创 [晓理紫]每日论文分享(有中文摘要，源码或项目地址)--强化学习、机器人等

2024-02-18 09:00:00 600

原创 [晓理紫]CCF系列会议截稿时间订阅

如果你感觉对你有所帮助，请关注我，每日准时为你推送最新CCF会议信息。

2024-02-18 09:00:00 983

原创 [晓理紫]AI专属会议截稿时间订阅

如果你感觉对你有所帮助，请关注我，每日准时为你推送最新AI专属会议信息。

2024-02-18 09:00:00 957

原创 [晓理紫]AI专属会议截稿时间订阅

如果你感觉对你有所帮助，请关注我，每日准时为你推送最新AI专属会议信息。

2024-02-09 09:00:00 1882

原创 [晓理紫]CCF系列会议截稿时间订阅

如果你感觉对你有所帮助，请关注我，每日准时为你推送最新CCF会议信息。

2024-02-09 09:00:00 1201

原创 [晓理紫]每日论文分享(有中文摘要，源码或项目地址)

2024-02-09 09:00:00 1121

原创 [晓理紫]每日论文分享(有中文摘要，源码或项目地址)

2024-02-09 09:00:00 848

原创 [晓理紫]每日论文分享(有中文摘要，源码或项目地址)--大模型、扩散模型、视觉语言导航

文本到图像模型允许用户通过自然语言指导图像生成过程，从而提供了新的创造性灵活性。然而，使用这些模型在不同的提示中一致地描绘同一主题仍然具有挑战性。现有的方法对模型进行微调，教它描述特定用户提供的主题的新词，或者给模型添加图像条件。这些方法需要长时间的每个受试者的优化或大规模的预训练。此外，他们很难将生成的图像与文本提示对齐，并在描绘多个主题时面临困难。在这里，我们提出了ConsiStory，这是一种免训练的方法，通过共享预训练模型的内部激活来实现一致的主题生成。

2024-02-07 09:00:00 1303

原创 [晓理紫]每日论文分享(有中文摘要，源码或项目地址)--强化学习、模仿学习、机器人、开放词汇

扩散模型在样本质量和训练稳定性方面优于以前的生成模型。最近的工作显示了扩散模型在改进强化学习（RL）解决方案方面的优势。这项调查旨在提供这一新兴领域的概述，并希望激发新的研究途径。首先，我们研究RL算法遇到的几个挑战。然后，我们提出了一个基于扩散模型在RL中的作用的现有方法的分类，并探讨了如何解决前面的挑战。我们进一步概述了扩散模型在各种RL相关任务中的成功应用。最后，我们总结了调查结果，并对未来的研究方向提出了见解。

2024-02-07 09:00:00 1086

原创 [晓理紫]CCF系列会议截稿时间订阅

如果你感觉对你有所帮助，请关注我，每日准时为你推送最新CCF会议信息。

2024-02-07 09:00:00 1057

原创 [晓理紫]AI专属会议截稿时间订阅

如果你感觉对你有所帮助，请关注我，每日准时为你推送最新AI专属会议信息。

2024-02-07 09:00:00 938

原创 [晓理紫]每日论文分享(有中文摘要，源码或项目地址)--强化学习、模仿学习、机器人

这项研究介绍了一种自主运动规划的新方法，在Frenet坐标系内用强化学习（RL）代理通知分析算法。这种结合直接解决了自动驾驶中适应性和安全性的挑战。运动规划算法对于导航动态和复杂的场景至关重要。然而，传统方法缺乏不可预测环境所需的灵活性，而机器学习技术，特别是强化学习（RL），提供了适应性，但存在不稳定性和缺乏可解释性。我们独特的解决方案将传统运动规划算法的可预测性和稳定性与RL的动态适应性相结合，使系统能够有效地管理复杂的情况并适应不断变化的环境条件。

2024-02-06 11:33:58 1728

原创 [晓理紫]每日论文分享(有中文摘要，源码或项目地址)--大模型、扩散模型、视觉语言导航

大型语言模型（LLMs）在各种上下文中的少量任务上取得了广泛的成功，但这种成功通常是通过正确性而不是一致性来评估的。我们认为，在解决方案由多个子步骤的答案组成的任务中，自一致性是有效的多步推理的重要标准。我们提出了两种类型的自一致性，它们对于多步推理特别重要——假设一致性（模型预测其输出在假设的其他上下文中是什么的能力）和组成一致性（当中间子步骤被这些步骤的模型输出替换时，模型最终输出的一致性）。我们证明了GPT-3/-4模型的多个变体在各种任务的两种类型的一致性中表现出较差的一致性率。

2024-02-06 11:17:56 1275