- 博客(19)
- 收藏
- 关注
RSS订阅原创 [今日Arxiv] 思维迭代：利用内心对话进行自主大型语言模型推理
迭代式人类互动是利用大型语言模型（LLM）高级语言处理能力的常见且有效的方法。通过以对话方式使用结构良好的提示，人类用户可以有效地引导LLM发展出更加深思熟虑和准确的回答。受此见解启发，我们提出了一种名为“思维迭代”（IoT）框架来增强LLM回答质量，该框 架通过生成针对输入问题及当前LLM响应迭代的“思维”激发提示实现这一目标。与静态或准静态方法（如“思考链”CoT或“思想树”ToT）不同，IoT的推理路径是动态调整的，基于不断演变的情境，并且不会产生最终被丢弃的探索性思维分支。
2024-09-22 15:49:59
1067
原创 [今日Arxiv] LLM推理中的错误自迭代改进，DeepMind
使LLM能够通过使用更多测试时间计算来改进其输出是朝着构建普遍自改进代理的关键一步，这些代理可以在开放的自然语言上操作。如果一个LLM被允许使用固定但非微不足道的推理时间计算量，它能在多大程度上提高其在挑战性提示下的性能？回答这个问题不仅对实现LLM的性能有影响，而且对未来预训练和如何权衡推理时间和预训练计算也有影响。尽管它很重要，但很少有研究试图理解各种测试时间推理方法的扩展行为。此外，目前的工作主要为这些策略提供负面结果。
2024-09-14 17:22:47
1298
原创 【双语新闻】AGI安全与对齐，DeepMind近期工作
的开发和运行，包括危险能力评估）。这还没有达到我们的需求：诚实策略的时间复杂度只在人类可判断的论证长度上是多项式的，而我们希望它在AI可判断的论证长度上是高效的。我们已经看到了一些使用Tracr的例子，但其使用的范围并没有如我们所希望的那样广泛，因为由Tracr生成的模型与在野外训练的模型有很大的不同。：尽管这项工作未能实现其雄心勃勃的目标，即在超置的早期MLP层中机械地理解事实是如何计算的，但它确实提供了进一步的证据表明超置正在发生，并否定了关于事实回忆可能如何运作的一些简单假设。
2024-09-13 19:41:32
1206
原创 【双语新闻】 AI 安全新闻 ：计算规模的下一代，按越狱敏感性和机器道德对模型进行排名
人工智能可以最大化选项的可取性和其相应理论的可能性的乘积，但是，虽然这种方法更加平衡，按确信度排列各种理论在本质上是主观的。人工智能中的偏见是危险的，因为它可能产生反馈循环：基于有缺陷数据训练的人工智能系统可能做出有偏见的决策，然后将其馈送到未来模型中。根据CHIPS和Science法案，英特尔的晶圆厂业务应该会获得大约85亿美元的资金，但它已经花费数十亿美元进行资格认证，在第二季度，它报告了28亿美元的亏损。这些在OpenAI和xAI的发展并不令人意外，而是代表了更广泛的趋势，即不断增长的计算规模。
2024-09-12 23:51:30
1141
原创 [今日Arxiv] GraphRAG, 微软，使用LLM自动化构建图谱并检索生成
使用检索增强生成 (RAG) 从外部知识源检索相关信息使大型语言模型 (LLM) 能够回答来自私有和/或之前未见过的文档集合的问题。然而，对于针对整个文本语料库的全局问题，如“数据集中的主要主题是什么？”RAG 却失败了，因为这本质上是一个查询聚焦摘要 (QFS) 任务，而不是一个明确的检索任务。与此同时，先前的 QFS 方法无法扩展到典型 RAG 系统索引的文本数量。为了结合这些对比方法的优点，作者提出了一种图 RAG 方法，用于在私有文本语料库上进行基于问题的回答。
2024-09-10 14:00:27
1074
原创 [今日Arxiv] 通过线上游戏收集LLM越狱成功的样本并分析，ICLR2024
虽然大规模语言模型（LLMs）在现实世界的应用中越来越普及，但它们仍然容易受到提示注入攻击的影响：恶意第三方的提示会偏离系统设计者的初衷。为了帮助研究人员研究这一问题，作者提供了一个包含超过563,000次提示注入攻击和118,000条基于提示的“防御”措施的数据集，这些数据都是通过一款名为Tensor Trust的在线游戏由玩家创造。据作者所知，这是第一个既包括人为生成的攻击方式又包括针对遵循指示的大规模语言模型的防御策略的数据集。作者的数据集中包含的攻击具有易于理解的结构，并揭示了LLMs的弱点。
2024-09-09 16:47:29
844
原创 [今日Arxiv] Llava-Mod，多模态MOE知识蒸馏
作者引入了LLaVA-MoD，这是一种创新框架，旨在通过从大规模多模态语言模型（l-MLLM）中蒸馏知识，实现小型多模态语言模型（s-MLLM）的高效训练。我们的方法解决了MLLM蒸馏中的两个基本挑战。首先，我们通过将稀疏混合专家（MoE）架构整合到语言模型中来优化s-MLLM的网络结构，从而在计算效率和模型表现力之间找到平衡。其次，我们提出了一种渐进式知识转移策略以确保全面的知识迁移。这一策略从模仿蒸馏开始，在这一步骤中，我们通过最小化输出分布间的Kullback-Leibler（KL）散度。
2024-09-06 00:21:47
1155
原创 [今日Arxiv] HuggingFace Daily 榜首文章，视觉表征定律
作者提出了一种“视觉表征定律”（以多模态大型语言模型 (MLLM) 为背景），揭示了交叉模态对齐、视觉表征的一致性与MLLM性能之间的紧密关联。作者通过跨模态联接一致性及视觉表征的一致性指标(AC分)来量化这两个因素，并在包括13种不同的视觉表示设置在内的多轮试验中发现，AC分数和模型性能之间具有线性关系。通过对这一关系的利用，仅优化视觉表征而不需每次对语言模型进行微调（从而实现99.7%的计算成本降低），即能达成作者的目标。
2024-08-30 18:41:44
1080
原创 面临威胁的人工智能代理综述(AI Agent)：关键安全挑战与未来途径综述
术语。为了便于理解，我们在本文中介绍了以下术语。Planningbrainactionwe call it推理是指一种大型语言模型，旨在分析和推断信息，帮助从给定的提示中得出逻辑结论。另一方面，规划表示一个大型语言模型，用于通过评估可能的结果和优化特定目标来帮助设计策略和做出决策。用于计划和推理的LLMs的组合被称为大脑。外部工具调用一起命名为操作。我们将感知、大脑和行动的结合称为内部执行。另一方面，除了内部执行，AI代理可以与其他AI代理，记忆和环境交互;我们称之为交互。
2024-08-29 23:17:41
2256
原创 卸载当前的 Node.js 并安装最新版本
通过这些步骤，可以成功卸载旧版本并安装最新版本的 Node.js。这是管理 Node.js 的推荐方法，因为它允许你轻松切换版本。使用 “添加或删除程序” 卸载 Node.js。
2024-08-29 15:15:30
378
原创 使用 Ollama、Llama 3.1 和 Milvus 进行函数调用案例
像 GPT-4、Mistral Nemo 和 Llama 3.1 这样的 LLM 现在可以检测到它们需要调用函数时，然后输出包含用于调用该函数的参数的JSON。这使得您的 AI 应用更加通用和强大。由 LLM 提供支持的数据提取和标记解决方案（例如，从维基百科文章中提取人物姓名）可以帮助将自然语言转换为 API 调用或有效数据库查询的应用程序与知识库交互的对话式知识检索引擎Ollama：将 LLM 的强大功能带到您的笔记本电脑上，简化本地操作。
2024-08-28 17:27:11
1289
原创 使用 FastAPI 部署 QWEN 接口的 Python 流式传输服务
使用 FastAPI 部署 QWEN 接口的 Python 流式传输服务
2024-08-17 17:56:50
1223
原创 如何对接Llama编写一个对话辩论Agent的Python程序，并暴露出来接口
如何对接Llama编写一个对话辩论Agent的Python程序，并暴露出来接口
2024-08-16 22:19:59
1036
原创 【论文阅读笔记】Black-box Adversarial Example Attack towards FCG Based Android Malware FCG对抗检测
使用图神经网络/进化算法，生成对抗性样本AE，以躲避基于FCG的恶意软件检测。
2023-10-16 17:09:43
337
1
原创 【论文笔记】AdversarialExamplesonDiscreteSequencesforBeating Whole-BinaryMalwareDetection用于击败全二进制恶意软件检测
近年来，深度学习在图像检测、图像分割、姿态估计、语音识别等诸多应用中都取得了性能突破。它还成功地应用于恶意软件检测。深度网络被发现容易受到对抗性示例的影响。到目前为止，成功的攻击已被证明是非常有效的，特别是在图像和语音领域，其中对输入信号的微小扰动不会改变人类对它的感知方式，但会极大地影响受攻击模型的分类。我们的目标是修改恶意二进制文件，使其在保留其原始功能的同时被检测为良性。与图像或语音相反，对二进制字节的微小修改会导致功能发生重大变化。
2023-10-16 16:57:17
94
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人