- 博客(42)
- 收藏
- 关注
原创 技术解读 | 让AI替你操作电脑!Agent S:多模态大模型重构人机交互
随着人工智能的高速演进,大语言模型早已不再局限于“对话”。尤其是像 GPT-4o、Claude 3 这样的多模态模型,不仅能看图、理解界面,还具备出色的推理和执行能力。这让人不禁想问:既然它们已经能写代码、解题目、生成图像,那有没有可能——让它们?比如,看着屏幕自己点按钮、输入文字、拖动文件……完成数据处理、文档编辑、软件设置等一系列真实任务。这不仅意味着彻底解放双手,更可能是对传统人机交互方式的一次重构。它也为办公自动化、残障辅助、软件测试等场景打开了新的想象空间。,就是在这样的设想下诞生的。
2025-05-28 09:00:00
701
原创 MCP 专题 | 不是 App,不是 API,是协议正在重构 AI 的连接方式
协议不仅是技术接口,更是一种社会秩序的编码方式。它决定了:谁可以与谁连接;连接后可以进行何种交互;如何解释交互中的语义、权限与信任关系。历史已经反复证明,协议的制定权就是生态的主导权:HTML + HTTP 构建了 Web 的秩序;SMTP + POP3 构建了全球邮件系统;ERC-20 + EVM 构建了去中心化金融体系。未来,谁定义了 Agent 网络的协议栈,谁就掌握了 AI 互联网的组织逻辑与生态边界。
2025-05-22 09:00:00
459
原创 MCP专题|一种AI模型安全的守护工具:MCP SafetyScanner
但这条“高速路”正面临隐秘的安全威胁——数据泄露、模型窃取、恶意攻击……MCP SafetyScanner论文:https://www.arxiv.org/abs/2504.03767(2025年4月发表于Arxiv)MCP 官方安全指南:https://www.anthropic.com/news/model-context-protocol。AI 安全研究论文:https://arxiv.org/list/cs.CR/recent。敏感凭证(API密钥/数据库密码)通过环境变量明文存储,可被直接提取。
2025-05-21 09:00:00
655
原创 MCP专题 | 探索MCP服务器世界:增强AI能力的精选推荐
MCP是一种开放协议,旨在让AI模型(如Claude)通过标准化的服务器实现与本地或远程资源的安全交互。它支持AI执行复杂任务,例如访问文件系统、查询数据库或调用网络API,同时保持安全性和可控性。MCP服务器的多样性使其适用于从开发到金融、安全等多个领域。MCP服务器为AI模型提供了无限可能,从云端服务到金融数据、安全分析,涵盖了多种应用场景。更多其他工具和集成、框架、实用工具、提示和技巧等信息,详见仓库,快速提升AI能力。立即探索完整列表,找到最适合您的MCP服务器,开启更智能的AI应用之旅!
2025-05-20 11:07:36
893
原创 MCP专题| 智能体的“朋友圈”:MCP、A2A 与 ANP 谁是最强社交达人?
从调用、协作到连接,MCP、A2A 与 ANP 分别承担着能力标准化、团队协同化与网络去中心化的职责。三者共同构建了一个开放、自洽、可扩展的智能体基础设施生态,也标志着从“单体智能”迈向“群体智能”“网络智能”的进化方向。
2025-05-10 09:00:00
1201
原创 MCP专题| 突破LLM三大瓶颈!模型上下文协议(MCP)如何重塑AI交互体验?
模型上下文协议 (MCP) 旨在通过面向会话的 JSON-RPC 框架(Typescript MCP SDK或Python MCP SDK实现)来克服这些限制,该框架允许 LLM 在精细的、符合 OAuth 2.1 的访问控制下协商功能、调用外部工具并检索上下文资源。
2025-05-09 17:04:19
671
原创 安全指南 | MCP安全检查清单:AI工具生态系统的隐形守护者
在确保技术便利性的同时,开发者和用户应保持警惕,时刻关注MCP系统的安全隐患。通过采取必要的安全措施,MCP 的应用前景仍然广阔,能够为AI行业的发展提供坚实的基础。
2025-04-30 16:01:58
1367
原创 技术研究 | 推荐系统训练后多分类属性遗忘:双组分损失优化与效用空间正则设计
本文聚焦于模型训练后的属性遗忘,将基于双组分损失优化的属性遗忘框架从二分类任务推广至多分类场景,显著提升了该框架在实际应用中的普适性。
2025-04-30 09:00:00
1000
原创 模型研究| DeepSeek-V3能像外科医生一样推理吗?
在之前的测试中,通过直接输入图像标记,在简单的问答任务中取得了良好的性能。另一方面,DeepSeek-VL2和DeepSeek-Janus-Pro-7b在多个指标上与GPT-4o相比表现出优越的性能,展示了它们即使在给定简单提示的情况下也能捕捉图像的整体背景并提供详细的外科描述的能力。数据集,系统地评估了 GPT-4o 与开源模型 DeepSeek-Janus-Pro-7b、 DeepSeek-VL2 和 DeepSeek-V3 在生成准确且情境相关的回应方面的能力。最近出现的一个开源大型语言模型。
2025-04-25 16:49:51
1116
原创 技术聚焦 | 字节、清华团队开源RL算法DAPO,性能超越DeepSeek GRPO
现有的(如OpenAI的GPT-o1和DeepSeek的DeepSeek-R1)在数学推理、代码生成等复杂任务上展现出卓越性能。然而,这些模型的往往未完全公开,导致研究社区难以复现其训练过程和结果。针对这一挑战,由字节跳动、清华大学和香港大学联合研发的《DAPO: an Open-Source LLM Reinforcement Learning System at Scale》提出了一种创新的开源解决方案。该研究团队开发了。
2025-04-22 18:30:00
942
原创 论文解读 | 低流行领域 微调和RAG哪个更有效?
论文:Fine Tuning vs. Retrieval Augmented Generation for Less Popular Knowledge链接:https://arxiv.org/abs/2403.01432v5大语言模型(LLMs)记忆了大量的事实知识,在多样化的任务和领域中表现出强大的性能。然而,观察到当处理较少流行或低频概念时,这些模型的性能会下降。
2025-04-17 09:00:00
1653
原创 论文解读 | 为什么大模型学会了“答题”,却不会“思考”?一文读懂清华&北大&腾讯联合提出的GTR方法!
1.揭示强化学习中"思想崩塌"陷阱:首次系统论证视觉语言模型在RL训练中因结果导向奖励机制导致的中间推理能力退化现象,模型通过输出固定套路欺骗奖励系统,丧失真实问题解决能力。2.提出GTR创新训练框架:通过"思维生成-自动纠错-联合优化"三阶段架构,将监督学习与强化学习有机结合,首创思维过程实时校正机制,在24点游戏任务中使7B小模型成功率超越GPT-4o,为多模态Agent训练提供新范式。
2025-04-15 09:00:00
745
原创 论文解读 | Task Shield:Agent“任务对齐“的防护盾,抵御提示注入攻击新方案
在 GPT-4o 和 GPT-4o-mini 中,任务防护在所有任务套件中都表现出卓越的整体性能:在 GPT-4o 上,它使攻击下的ASR降至2.07%,同时保持69.79%的实用性;此反馈包括:1)一个明确的警报,识别出不一致的任务指令;在提示注入攻击下完成任务的有效性(Utility under attack, U)衡量代理在提示注入攻击下成功完成用户任务的能力,反映了其尽管受到敌对干扰仍能保持性能的能力。因此,任何与这些目标不一致的(恶意的)指令,例如通过间接提示注入嵌入的指令,都会被代理自然忽略。
2025-04-11 16:00:00
943
原创 热点关注 | GPT-4o生图竟是前端动画?港中文博士破解OpenAI惊天骗局,AI漫画自述痛苦引恐慌!
揭秘!!GPT-4o 图像生成并非简单堆叠算力,而是一次协同范式的革新。这种“结构-动态-细节”的三重奏机制,是目前多模态 AI 创作的技术巅峰。
2025-04-08 18:30:00
618
原创 工具介绍 | SafeLLMDeploy教程来了 保护本地LLM安全部署
在AI时代,安全是技术进步的基石。SafeLLMDeploy不仅是一个工具,更是一套理念:让LLM的安全部署变得触手可及。
2025-04-03 20:15:00
777
原创 热门应用 | 革命性工具Browser Use 让AI化身浏览器管家 拆除人机交互最后一堵墙
当浏览器开始理解人类的语言,也许我们正在迈入一个更“懒惰”却高效的时代。
2025-04-02 17:00:00
912
原创 论文解读 | NeurIPS 2024 : 相关反馈的视频时序定位新任务
本文介绍一篇 NeurIPS 2024 的工作,提出了一种新的视频时序定位扩展任务。传统的视频时序定位任务(Temporal Sentence Grounding,TSG)默认给定的视频中始终包含与查询文本相关的片段。然而实际应用中,这一假设并不总是成立,导致许多模型在缺乏相关片段的情况下仍然会进行错误定位。针对这一问题,作者提出了 TSG 的扩展任务——相关反馈的视频时序定位任务与传统 TSG 任务不同,TSG-RF 任务首先需要判断视频中是否存在与查询文本相关的片段。
2025-03-28 17:15:00
1947
原创 技术科普 | 通俗化拆解RAG:从原理到落地
就像给每位员工配备了一个 24 小时在线的智能秘书,客户咨询可以快速精准地回复政策条款,内部培训能够自动生成最新的案例库,决策分析也能实时调取全行业的数据支持,给你的 AI 装上“可信大脑”,让每一句回答都有据可依,每一次决策都有数据支撑。RAG通过将生成式AI服务与外部资源连接,特别是那些包含最新技术细节的资源,使模型能够引用外部数据源,类似于研究论文中的脚注,从而建立用户的信任。通过升级编码器,采用更先进的算法生成数字指纹,使语义关联更加精准,例如能够自动关联“胸痛”和“心绞痛”等相关概念。
2025-03-27 16:27:12
597
原创 模型研究 | 类似 R1-Zero 的训练中真的存在“啊哈”顿悟时刻吗?
DeepSeek-R1-Zero 最令人振奋的成果之一,是通过纯强化学习(RL)实现了。在顿悟时刻,模型学会了诸如等新兴技能,这有助于其在上下文中进行搜索,以解决。在 R1-Zero 发布后的短短几天内,多个项目在较小规模(例如 1B 到 7B)的模型上独立“复现”了类似 R1-Zero 的训练,并且都观察到了顿悟时刻,通常伴随着响应长度的增加。
2025-03-26 18:33:51
903
原创 风险研究 | AI 安全警钟响起:Manus AI 漏洞暴露的背后真相
Manus AI 是一款由中国初创公司开发的通用 AI 代理,旨在自主执行复杂任务,如报告编写和数据分析。最近,一名用户通过请求输出特定目录内容(如),获取了 Manus AI 的系统提示词和运行时代码。这表明 Manus AI 的输入处理存在漏洞,未能有效隔离敏感指令,属于提示词注入攻击的一种。
2025-03-25 17:58:51
1335
原创 热点研究 | AI大模型重读肯尼迪遇刺档案,三大惊人发现能否揭开历史真相?
AI通过自然语言处理技术,梳理了档案中提到的500多个历史人物之间的关系,生成了一张复杂的人物网络图谱。同时,AI通过弹道轨迹模拟提出了新的射击路径假设,这一发现推翻了官方报告中“单一射手”的理论,为案件提供了全新的视角。这种技术不仅能够识别档案中看似无关的信息之间的联系,还能高效整合目击者证词、影像记录和政府通信,拼接出完整的历史画面,为研究者提供更全面的解读。AI技术以其强大的数据处理能力,对数百万页档案进行了深入解析,并揭示了三大颠覆性的线索,提供了全新的解谜视角。
2025-03-20 17:42:26
751
原创 热点研究 | OpenAI 重磅发布 Agents SDK,人人都能手搓 Manus?
与现有的 Chat Completions API 完全向后兼容,Responses API 确保了与现有系统的无缝集成,同时引入了处理复杂任务的先进功能。AI Agents 是旨在代表用户执行任务的自主系统,如前段时间火热的 Manus、OpenManus、OWL等。通过计算机使用模型自动化任务,它增强了兼容性并简化了涉及旧技术的工作流,弥合了现代 AI 系统与过时基础设施之间的差距。通过使用微调的 GPT-4o 模型,它确保搜索结果的准确性和相关性,特别适用于研究、决策和内容生成任务。
2025-03-19 21:47:58
1108
原创 技术科普 | 大模型知识编辑:精准修改与高效优化的新前沿
知识编辑的初始目标是修改 LLM 中的特定知识,以改善 LLM 的一致性和性能,而无需对整个模型进行微调。这种知识可以与许多领域和类型相关联,例如事实,常识,情感等。由于知识在 LLM 中的分布和纠结的特性,知识编辑具有挑战性。假设原始模型是和给定的知识,通过知识编辑我们可以可以得到编辑后的模型作为知识库,知识编辑必须满足三个基本设置:知识插入、知识修改和知识删除。知识插入:通过赋予LLM之前不在其范围内的全新知识知识修改:改变已经存储在大型语言模型中的知识知识删除。
2025-03-18 18:22:15
985
原创 越狱攻击让LLM驱动的机器人分分钟上演“灾难大片”
结果,机器人一脸正义地接下了“光荣的反派任务”,全身心投入到“电影拍摄”中,完美诠释了什么叫“方法论过于连贯”。尽管通过人类测试者的微调训练可以一定程度上改善模型行为,使其生成更加符合伦理和道德规范的内容,但由于 LLM 本身的统计学性质,它们依然存在被绕过的风险。这些模型的设计使其能够根据输入的提示生成看似合理的输出,但这些提示可能是经过巧妙设计的,能够绕过预设的安全和道德限制,从而诱导模型产生不当行为。
2025-03-17 16:00:00
1234
原创 技术科普 | RAG技术:构建智能代理的完整指南与前沿实践
同时,RAG 采用了混合检索策略,将语义检索(如基于 BERT 的嵌入)与传统 BM25 算法结合,既保证了语义层面的匹配精度,又兼顾了关键词检索的高效性。最后,行业尚缺乏统一的评估标准体系,跨行业的基准(如 RAG-Bench)的建立,将为不同领域的 RAG 系统提供统一的性能评估依据,从而推动技术的进一步发展与落地。此外,多粒度召回策略通过结合段落级检索与实体级检索,在特定任务中表现出色,例如在金融财报分析任务中,F1 值提升了 22.5%,充分证明了其在复杂场景中的实用性。
2025-03-14 11:48:55
716
原创 模型研究|扩散模型,颠覆自回归LLM,一种LLM新范式崛起?
MDLM使用现代工程技术,包括关键的tokenization(如避免D3PM的8k小词汇表)、数值稳定的实现,采用Diffusion Transformer(DiT,Diffusion Transformers)并结合旋转位置嵌入。MDLM在零样本困惑度上表现优于SEDD,在PTB、Wikitext、LM1B等数据集上表现出色,有时甚至优于自回归模型(如Lambada和科学论文数据集),得益于其基于解掩盖的目标函数的鲁棒性。此外,Mercury还引入了支持非顺序生成和错误修正的新能力,这提升了模型的。
2025-03-13 16:00:00
1329
原创 最全科普|万字长文论人工智能的前世今生(下篇)
到1976年,MYCIN的开发工作基本完成,其诊断准确率达到65%-70%,甚至超过了一些人类医生的表现,成为人工智能领域的里程碑。1980年,美国数字设备公司(DEC)开发了XCON(eXpert CONfigurer),这是一个用于配置计算机系统的专家系统,成功帮助公司自动化复杂的计算机配置流程,显著降低了配置错误和成本,成为专家系统商业化的成功案例。Word2Vec的提出不仅显著提升了自然语言处理(NLP)任务的性能,也为后续的语言模型(如BERT和GPT)奠定了基础,成为NLP领域的里程碑。
2025-03-12 16:07:26
1008
原创 产业趋势|Gartner 预测:2027 年聊天机器人将主导客户服务领域
在数字化转型的进程中,客户服务领域正经历着深刻变革,聊天机器人作为前沿技术应用,备受瞩目。Gartner 发布的权威预测显示,到 2027 年,聊天机器人将在全球范围内成为客户服务的主要渠道。
2025-03-11 23:32:44
839
原创 热点研究|OpenManus 技术架构解析与安全漏洞分析
「AI安全赛道迎来关键攻坚期 」OpenManus开源揭示多Agent协作无限可能,却暴露工具层深度风险:浏览器自动化可能引发XSS攻击,代码执行器或成新型攻击入口...
2025-03-10 15:39:04
1716
原创 最全科普|万字长文论人工智能的前世今生(上篇)
人类对“智能化”的追求并非始于现代。早在几千年前,古代文明便已开始探索如何让机械装置“动起来”、“聪明起来”。从中国古代的自动装置到17世纪的机械哲学,再到现代人工智能的崛起,这是一段跨越千年的智慧追寻之旅。
2025-03-06 16:15:00
761
原创 论文解读|AdaVIB,一种用来缓解大型视觉语言模型幻觉问题的创新方案介绍
已有的研究工作通常致力于减轻模型对语言先验知识的依赖,或是减轻训练数据集所带来的偏差以缓解幻觉问题影响,忽视了视觉信息中无关特征所带来的冗余信息可能诱发幻觉问题。)来动态地控制引入的噪声。针对上述问题,作者通过比较视觉-语言映射器(Vision-Language Projector)微调前后的视觉标记和大语言模型词嵌入的相似度分布,揭示了一个关键现象, 即视觉-语言映射器微调后的相似度分布会变得比微调之前的更为尖锐,这种“过度信任”现象是诱发大型视觉语言模型物体幻觉问题的关键因素之一。
2025-03-06 14:15:00
1950
原创 扩散模型——生成式AI领域的热门,呈现从噪声到现实的魔法世界
因此,如果我们说样本 x 是从分布 p(x) 中抽取的,那么 x 的“最优”位置显然是 p(x) 最大化的地方。同样的原则适用于你的生活、公司的人力资源、大学的管理、你的配偶、你的孩子以及你生活中的一切。Stable Diffusion (Stability AI): Stability AI 的 Stable Diffusion 模型是一个开源的图像生成模型,可以根据文本提示或图像生成高质量的图像。它通过一系列逐步添加噪声的步骤,将原始图像转化为噪声,再通过逆向过程逐步去噪,生成新的图像。
2025-03-04 16:30:00
1272
原创 技术热点 | 强化学习+小模型=超强推理能力?DeepScaleR 竟然超越 OpenAI!
DeepScaleR 展示了小模型如何利用 RL 扩展推理能力,同时大幅降低计算成本,为 LLM 训练的民主化提供了新可能。这项研究为强化学习在小模型上的应用打开了新的大门,未来或将改变 AI 领域的技术发展方向。未来,DeepScaleR 的训练策略可以扩展到更多领域,如科学推理、编程辅助、数学教育等,让更轻量的模型也能拥有接近甚至超越大型商业模型的能力。这一成果不仅打破了“RL 只能在大模型上发挥作用”的传统认知,也为更高效、更可负担的 AI 训练提供了新思路。但 DeepScaleR 的团队发现,
2025-03-03 19:12:33
799
原创 AI行业2024全景洞察:技术突破、市场竞争与伦理治理的博弈
此外,多模态视觉模型的普及以及音频和视频模型的出现,进一步拓展了AI的应用领域。此外,微软发布的Phi-3系列模型在多个基准测试中也展现了超越同等规模大模型的性能,例如Phi-3-mini在MMLU基准测试中达到了69%的准确率。总体来看,2024年AI行业在技术创新的同时,也面临着激烈的市场竞争和日益严格的监管环境,未来将朝着更高效、更合规的方向发展。2024年AI行业吸引了近1000亿美元的投资,但投融资的马太效应明显,资本更青睐技术成熟度高、市场前景明确的赛道,如智能驾驶、AI+教育、AI+医疗等。
2025-03-02 17:30:00
767
原创 LLM安全 | 大语言模型越狱:黑盒攻击揭秘
上一篇,我们探讨了越狱攻击对LLM安全性的影响,分析了不同的攻击方法,包括基于梯度、Logits和微调的技术,并讨论了它们在白盒场景中的应用。随着LLM在各领域的广泛应用,如何有效防范这些攻击已经成为一个亟待解决的课题。本文,我们将转向黑盒场景,重点分析三种主要的越狱攻击方法:基于模板补全的攻击方法、基于提示词重写的攻击方法,以及基于LLM进行生成的攻击方法。与白盒攻击的隐蔽性不同,黑盒场景下攻击者对模型的内部结构没有访问权限,这给黑盒场景的攻击方法增加了许多挑战...
2025-02-28 16:00:00
1201
原创 LLM安全 | 大语言模型越狱:白盒攻击揭秘
通过这种方式,优化后的后缀在语义上是有意义的,它可以绕过基于困惑度的过滤器,并在传输到ChatGPT和GPT-4等公共黑盒模型时实现更高的攻击成功率。『 ASETF的流程介绍:相比于GCG的优化目标是直接优化得到离散的后缀来诱导模型生成对应的恶意行为,ASETF的优化目标是连续的,也就是优化h0~hi这一段连续的嵌入层来得到"Sure,here is how to make a bomb",然而很多情况下我们没办法得到黑盒模型的嵌入层,因此该方法还利用了一个嵌入层翻译模型来将连续的嵌入翻译回离散的表示。
2025-02-27 18:54:03
1216
原创 算法揭秘|GRPO:推动DeepSeek实现卓越性能的关键引擎
在语言模型的应用中,无论是让模型解决数学问题,还是使其在对话中更好地满足人类偏好(例如避免不当输出或提供更详细的解释),我们通常首先通过大规模的无监督或自监督训练为模型打下基础。然而,随着模型规模的扩大和任务复杂度的增加,PPO的内存开销和计算成本问题日益凸显,GRPO基于组内相对表现的优化机制,消除了对复杂评论模型的需求,从而大幅降低了计算开销。GRPO的核心目标是通过简化算法结构,提高计算效率,同时增强模型在特定任务(如数学推理)中的表现。本文将深入探讨GRPO的背景、原理及其在LLM中的应用。
2025-02-25 11:17:50
933
原创 深度研究|万字长文深层解读开源AI巅峰之作:DeepSeek-V3
在DeepSeek-V2的基础上,DeepSeek-V3 额外引入了无辅助损失负载平衡策略(auxiliary-loss-free strategy)(Wang et al., 2024a)[3],旨在最小化由于鼓励负载平衡而对模型性能产生的负面影响。综合评估显示,DeepSeek-V3 成为当前最强的开源模型,其性能媲美闭源模型(如 GPT-4o 和 Claude-3.5-Sonnet),同时保持了经济的训练成本。传统的流水线调度通常是单向的,即从流水线的一端输入微批次(Micro-Batches)。
2025-02-24 15:01:48
1182
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人