- 博客(278)
- 收藏
- 关注
RSS订阅原创 介绍最前沿的人工智能创新，‘无反向传播’神经网络训练方法？
📌 本文整理自 NoProp 原始论文与实践代码，并结合多个公开实现细节进行了全流程复现。🔍 对神经网络训练机制的探索仍在不断演进，如果你也在研究反向传播之外的新路径，这篇内容可能会给你一些启发。
2025-05-03 10:18:43
352
1
原创 我们是不是太蠢，连偷懒都不会？AI 应该给我们留点时间思考
在 AI 时代，我们不该继续盲目追求形式上的努力和勤奋，而应该主动拥抱一种‘聪明的懒惰’，把重复、低效、装样子的工作交给机器，把人的智慧用在创造性、判断性、更具人性价值的部分上。
2025-05-02 19:43:07
494
原创 用更好的方式来监控神经网络的训练过程
这是一系列文章的第一篇，教你如何提升神经网络训练过程中的监控和排查能力：1. 更好的方式来监控神经网络训练（本篇）2. 神经元死亡问题（即将推出）3. 梯度消失与爆炸（即将推出）4. 小心梯度震荡（即将推出）
2025-05-02 17:29:48
449
1
原创 AGI只是美国硅谷的一场幻觉吗？
2023 年 4 月 14 日，幻方量化宣布成立一个专注于人工通用智能（AGI）研究的实验室，与幻方的金融业务完全分离。2023 年 7 月 17 日，这个实验室正式注册为独立公司，由幻方出资和支持，名字叫 DeepSeek。
2025-05-02 10:45:34
461
1
原创 我试用了50个AI工具——AI正在如何改变设计方式
📩 本文基于我亲测50款AI产品后的真实总结，记录了我观察到的设计趋势和用户变化。如果你也在打造AI产品或研究用户体验优化，不妨一起交流 👉 可后台私信我【AI体验手册】，我整理了一份实战笔记合集。
2025-05-01 11:55:27
793
1
原创 EU AI法案：开发者和部署者，都得担责
👋 本文由一位深耕AI软硬件落地10年的技术实战者整理翻译。平时主要从芯片设计、电路、GPU部署，到Linux系统、推理引擎、模型训练都亲自操刀，长期关注AI法规对工程实践的影响。🚀 有兴趣一起交流这类技术合规问题的，欢迎评论区或者私信我交流。
2025-05-01 10:16:24
899
1
原创 DeepSeek-V3 解析第二篇：DeepSeekMoE
📚 本文也是我们【LLM 架构演化系列】的第二篇，聚焦 DeepSeek-V3 的 MoE 架构创新。如果你正研究大模型性能优化或架构设计，欢迎参考本系列其他内容，我们也整理了多份内部实验图与流程笔记，读者留言即可交流获取。
2025-04-30 15:35:53
862
1
原创 DeepSeek-V3 解读，第一部分：理解 Multi-Head Latent Attention
🔍 我们在研究这些新架构的同时，也在整理一套完整的「LLM底层机制拆解系列」资料，聚焦模型结构演进与推理效率优化。如果你也在搭建或评估大模型系统，不妨关注这个系列一起深入分析底层设计背后的工程逻辑。
2025-04-30 15:16:18
803
1
原创 5个AI工程师在第一次构建RAG时常犯的错误
📦 本文是我「RAG工程实战反思系列」的第1篇，如果你也在构建基于LLM的RAG系统，建议收藏本文。文末有资料领取方式，可快速搭建实战系统框架。
2025-04-29 22:33:49
544
1
原创 MCP 会成为下一个 HTTP 吗？看懂 AI 交流的下一个前线
还记得互联网刚起步那会儿吗？各种协议乱七八糟，访问方式千奇百怪。后来有了 HTTP（超文本传输协议）。它不只是个协议，而是那个标准化了浏览器与服务器如何沟通的协议，解锁了如今互联互通、可交互的网络世界。HTTP 提供了一种通用语言，让信息可以自由流动。
2025-04-27 11:04:18
821
原创 我在大厂做 机器学习工程经理：这六顶帽子，每天都在换
如果你曾觉得作为一名 ML 工程经理的一天，就是不断切换各种上下文，那你不是一个人。上一秒你还在审查模型的 ROC 曲线，下一秒你已经在聊招聘预算，突然又得去搞模型扩展，还没喘口气呢，部署计划的邮件又来了。
2025-04-25 12:52:23
727
原创 直观讲解生成对抗网络背后的数学原理
这篇文章讲的是一个非常独特的深度学习框架——生成对抗网络（GANs），我觉得它特别有意思，不仅因为它的工作原理，还因为它正在彻底改变流体力学领域中，尤其是在降阶建模和动力系统这类研究问题上的解决方式。
2025-04-24 11:33:01
858
原创 5 个开源 MCP 服务器，让你的 AI 代理无所不能
最近我一直在鼓捣 AI —— 主要是 Claude —— 但它光是回答问题让我有点无聊了。我想让它干点事儿，你懂的吧？比如从网站抓数据，或者去翻我 GitHub 的项目。这时候我发现了一些叫 MCP 服务器的东西。它们就像小帮手一样，让你的 AI 能和工具、应用打交道。开源的，免费的，而且说实话还挺好玩。我来说说我试过的五个，让我当场惊呼：“卧槽，这也太牛了吧。
2025-04-23 09:35:25
712
原创 如果AI五分钟内解决不了你的问题，应该立即转为使用你自己的脑子
最近我一直在琢磨一个问题。我们现在全都沉醉在AI的神奇能力里，看着这些大型语言模型像拉斯维加斯的老虎机一样，不停地中大奖。但我自己有个简单的原则：如果AI五分钟内搞不定你的编码问题，那就关掉它，自己动脑子。
2025-04-23 09:29:18
853
原创 人类终于打开了AI的黑箱！
而是先理解“smallness”的概念、“opposite”的概念，再到“largeness”的概念，最后才翻译成英语的 large，中文的 大，或法语的 grand。在最近的一项研究《Tracing Thoughts in Language Models》中，Anthropic的研究人员声称，他们窥见了自家AI Claude的“内心世界”，观察到了它在“思考”。Claude看起来会把任务分解成可理解的小问题，提前几个词计划自己的回答，甚至在被逼到角落的时候编造推理 —— 也就是我们常说的“幻觉”。
2025-04-22 23:06:04
857
原创 让未来重现《星际迷航》
2014年，我在哥本哈根的一个小型可穿戴技术大会上做了一个演讲，地点就在提沃利花园街对面的一间小房间——我记得这个细节，因为每隔几分钟就能看到过山车飞速地驶过。演讲的题目是《有效的可穿戴设备》，其中有一个观点是：“最好的交互是轻松的、显而易见的并且具有触感。”
2025-04-21 22:23:51
671
原创 关于AI：记忆、身份和锁死
当生成式AI迎来投资热潮、产品发布和炒作高峰时，我们大多数人在奔向“下一个大事件”的过程中，忽略了一个深层次的缺陷。我们现在主流的AI产品和服务（比如OpenAI、Google和Microsoft的产品）都是通过“客户端-服务器”架构部署在云上的——也就是说，“这是一种计算模型，应用、数据和服务等资源由一个中央服务器提供，而客户端向服务器请求访问这些资源。
2025-04-20 23:18:21
595
原创 关于大型语言模型的“生物学”
换句话说，我们可以把现在训练的模型，看作是在执行一个“更大的虚拟模型”的行为，只不过它们把所有特征塞在了一起。有趣的是，LLM虽然能在一组特定数字上算得很准，但你要问它怎么算的，它给你的还是标准人类算法说明 —— 因为它自己也不知道它是怎么得出这个答案的。自编码器的基本做法是：拿一个输入，把它映射成一个新的值集合，然后再从这个新的集合中重建原来的输入。这种直觉是来自这样一个想法：说到底，DL模型就是一堆在做线性代数的神经元，所以理论上，我们应该是可以把它拆成一种人类可以理解的方式的。
2025-04-19 23:01:24
744
原创 一封价值320亿美元的246字信
一家公司由三位没有产品、只有一个展示他们给世界的21句信件的网站的人创立，却以320亿美元的估值筹集了资金，相当于现代汽车这样的公司。
2025-04-18 23:22:42
955
原创 AI 技术栈不复杂：四个层级讲明白，我选了最香的一层
虽然当时很多建议不靠谱，被大家吐槽，但现在有了 LLM，可以做一个真正强大的 Clippy。而且他们早就习惯用 ChatGPT，就算我这个比它强两三倍，他们也不会换（当然，“强”的定义也难讲清楚。记住，大模型层的公司天天都在卷：更强、更快、更便宜的模型一波接一波。比如你用的是 GPT-4o，OpenAI 更新了模型，你啥也不用做，直接吃上红利，性能蹭蹭提升。你不希望你的 AI 一直骚扰用户，不然会很烦。我也说了为啥我觉得应用层是最好的切入点：因为不容易被商品化，离用户最近，而且能吃到底层带来的好处。
2025-04-17 08:29:32
961
原创 当AI开始相信其他AI的幻觉时，我们就完蛋了
每一个像我这样会去查实AI内容的人，背后都有二十个内容创作者、市场人员和写脚本的机器人，他们只要机器产出的内容听起来震撼、能赚点击，就毫不犹豫地放出去。当AI系统彼此引用对方“幻想”出来的虚假信息时，信息生态将陷入一个自我循环的扭曲现实中，导致人类社会被误导、被欺骗，甚至危及法律、医疗、科研等关键领域的真实决策。我看着的是一个误导金字塔——一个AI编了个“事实”，另一个AI当成真理在到处传，然后我差点就信了，还打算推荐给客户，客户可能会在董事会上继续讲，然后变成新闻稿，最后被收录进下一个AI的训练数据！
2025-04-16 21:27:56
770
原创 LLM 的注意力黑洞：为什么第一个 Token 吸走了所有注意力？
总结一下，注意力机制让 transformer 能混合信息，但如果混合得太随意，那么一个 token 的小改动可能会影响整个序列（或者说影响很多 token），这就是“混过头”了（overmixing）。另外，如果某些 token 成为注意力黑洞，模型中的信息流可能会被改变，导致模型忽视了其它 token 中的重要上下文信息。总之，预训练策略会影响注意力黑洞的形成方式，但无论如何，第一个 token 成为注意力黑洞几乎是不可避免的。理解注意力黑洞的角色，可以帮我们训练出更稳的模型，设计出更强健的微调策略。
2025-04-15 09:55:49
581
原创 AI争霸新拐点：谷歌靠Gemini 2.5能翻盘吗？
不过，说到底，光靠我自己的看法 —— 或者对这个新模型的激动 —— 还不够，我们应该仔细看看 Gemini 2.5 真的配得上这些夸赞吗？在实际的基准测试中，Gemini 2.5 Pro 在编程、数学、科学这些领域表现超越了 GPT-4、Anthropic 的 Claude 和其他顶级模型 —— 在像 GPQA 这样的评测中拿下了第一。有个让我印象特别深的例子，是来自日本的一家医院，用的就是同一套 AI 技术，把医生的笔记转录并总结出来，让护士的文书工作量减少了 42%，也大大缓解了他们的压力。
2025-04-15 09:51:59
461
原创 软件开发中使用 AI 的25种方法（绝无吹牛）
这是一篇关于在你的应用里使用一种新型软件的文章。你肯定听说过了——它叫做 AI。下面你不会看到什么高级概念、智能体、RAG、聊天机器人，也不会有关于“很快就能做到”的承诺。大多数例子甚至不会直接让用户看到 AI 生成的文字。相反，它们只是一些简单的例子，讲讲怎么用 AI 在你的应用里做决策。
2025-04-14 10:15:13
878
原创 深入了解Llama 4：Meta的新开源AI是怎样碾压GPT-4o和Gemini的
Llama 4 是一个真正意义上的质变，远远超过之前所有 Llama 系列。以前 Llama 2/3 虽然重要，但感觉平庸（"important but profoundly uninspiring"），而 Llama 4 是革命性的，从多个技术维度都远超 GPT-4o、Gemini 2 Flash、Claude 3.7 等当代顶尖模型。
2025-04-14 09:54:26
767
原创 我们准备好迎接AI的下一次飞跃了吗？
未来的超级智能，不是简单更聪明的人类，而是完全不同层次的新存在。Michael Bass在这篇文章里提出了一个核心警告：如果我们无法在超级智能诞生之前，把它的目标和人类利益对齐，那么人类可能不仅会被边缘化，甚至直接被淘汰。
2025-04-13 10:06:04
681
原创 猿群结伴强大，但AI代理不行：为什么多智能体系统会失败?
智能体这个概念就是把这些元素组合出来的，对于一个基于LLM的智能体，可以这么定义：它有一个初始状态（通常在prompt里描述），可以跟踪它的产出（状态），还能通过工具跟环境互动（行动）。虽然看起来像是单智能体的自然延伸，MAS却有一整套很不简单的挑战，比如要怎么组织智能体之间的讨论协议，它们怎么分工协作、怎么制定策略，等等。“在这项研究中，我们首次系统地调查了基于LLM的多智能体系统的失败模式，通过收集和分析150+条执行记录，在扎根理论的指导下不断迭代完善分类法，并通过多标注者研究进行了验证。
2025-04-13 09:55:29
556
原创 10个几乎能替代一整个开发团队的AI工具，你信吗？
未来不是快来了——它已经在这里了。而且，它正在帮你写代码，修Bug，甚至在设计你的UI。我的名字叫Shivam Maurya，最开始，我只是想慢慢变好，没想到，这个简单的念头，最后发展成了一个强大的习惯——不仅让我走向成功，还彻底改变了我的生活方式和思维方式。
2025-04-12 16:46:42
749
原创 利用“人工怀疑”，来大幅提高AI数学准确率
当AI研究人员讨论数学推理时，他们通常关注的是扩大规模——更大的模型、更多的参数、更大的数据集。但实际上，数学能力并不是靠你有多少计算资源堆出来的。真正关键的是，机器能不能学会自己检查自己的答案，因为至少90%的推理错误，都是因为模型自信地给出了错误的中间步骤。我猜，一旦你理解了这个点，就会觉得这很显然。任何一个数学家都会告诉你，解决难题的关键不是原始的智力——而是有条不紊地验证。可多年来，AI研究人员却一直在试图用蛮力扩大数学能力，拼命堆大模型，好像单靠计算力就能搞出仔细推理一样。
2025-04-12 16:40:08
728
原创 人造的但不智能的
那应该是1990年或者1991年。我那时7岁或者8岁。世界杯的奇妙之夜刚刚过去，我戴着一块卡西欧的电子手表。我并不讨厌学习，而且对数学很着迷，我至今清晰记得当我第一次发现计算器时那种欣喜若狂的顿悟。看着计算器在一瞬间完成乘法、除法、乘方和开平方运算，简直让我震撼：对我来说那些都是需要花时间和好几步才能完成的事情。而今天，当我把ChatGPT展示给我差不多年纪的女儿时，我在她眼中也看到了同样的惊奇。考虑到即使在我小时候，计算器在计算方面也远比人类厉害，可是我们并没称它们为智能。今天，ChatGPT吐出经过咀嚼
2025-04-11 09:25:44
549
原创 10个必须了解的技术，保护LLM模型在预训练、后训练和推理阶段免受攻击
随着大型语言模型（LLM）在各类AI应用中迅速普及，如何保护它们免受训练阶段与推理阶段的安全威胁，成为研发者无法回避的重要课题。本文系统梳理了当前主流的LLM防御技术，涵盖预训练、后训练和推理各阶段，详细分析了不同方法的优缺点及应用场景。无论你是构建AI系统的开发者，还是关注模型安全的研究者，本篇纯技术博文将为你提供一套实用且全面的参考指南。
2025-04-10 20:04:17
656
原创 “AI” 死神要来夺你的饭碗了吗？
“AI” 死神要来夺你的饭碗了吗？很可能，特别是如果你的日常工作就是在忙东忙西，或者你除了走去开会以外，一整天没干啥体力活的话。
2025-04-09 13:07:22
779
原创 如何把未量化的 70B 大模型加载到笔记本电脑上运行？
为了模拟一群人一起合作的场景，我用 Colab、Kaggle 和 Lightning.ai 创建了好几个基于 GPU 的 Jupyter 笔记本，包括我本地的 GPU，用来做推理用。我们还能更进一步，比如用量化的方法来托管更大的 LLM，比如 405B 参数的 LLaMA，这样就能访问更大型的模型，而不需要付费 API 或 GPU 使用时间。这样生成的 token 会实时显示，非常适合做聊天机器人。这个设置下，我们本地 GPU（2GB 的机器）会下载一小部分模型权重，网络上的其他电脑负责剩下的部分。
2025-04-09 10:18:36
621
原创 我用 GPT-4o 创作属于我自己的丁丁漫画
也许你们有些人认识我是科普作家，或许在我的一些文章里，特别是关于人工智能的主题上，你们能感受到一些未来主义的气息。实际上，我几乎总是更喜欢外出调查、探索，收集各种问题上的有趣事实，并努力围绕一个话题从不同角度编织引人入胜的叙事。所以，今天在这里，或许最让你意想不到的是，我要讲一个非常个人的故事，一个真正由内心驱动的内向者的故事，关于如何用人工智能去实现那些最特别、最难忘的童年梦想。
2025-04-09 09:04:07
672
原创 DIY AI & ML：K-Means 算法
可以看到，我们只会用到 numpy、pandas、tqdm（用来显示进度条），以及 scikit-learn 里的 silhouette_score（放心，就只用 sklearn 里的这一个功能，我们真的会从零构建算法）。初始化之后，我们要计算每个簇里所有点的均值，得到新的质心坐标。比如说，在一个簇里，把所有点的 x 和 y 坐标分别取平均数，这个新的坐标就成了新的质心或者簇中心。为了做这件事，我自己又写了一个小工具函数，它能输出每个簇的人数、每个特征的均值，还配上热力图，方便对比分析。
2025-04-08 11:11:51
1125
原创 如何对LLM大型语言模型进行评估与基准测试
这一部分，我们来解释一些业界常用的推理性能指标，比如“首 Token 时间”（Time to First Token，简称 TTFT）和“Token 间延迟”（Intertoken Latency，简称 ITL）。两者可能会互相叠加，影响整体响应时间。这篇文章，主要聚焦在 LLM 吞吐量（throughput）和延迟（latency）的测量，这也是评估 LLM 应用成本的一部分。一开始，随着并发请求数增加，系统的 TPS 也会跟着增加，直到 GPU 资源被用满，TPS 就会趋于饱和，甚至可能开始下降。
2025-04-07 19:55:37
1058
原创 所以，你上传了你的大脑……然后呢？
这篇文章探讨了一个正在逼近现实的未来情境：随着脑机接口、整体脑模拟（WBE）等技术的发展，人类心智上传从科幻走向了可行。在这个背景下，作者提出了一个核心问题：当你的意识可以被复制，新的“你”出现时，原本的你是谁？副本又算什么？
2025-04-06 11:43:40
1026
原创 纠错：LLMs 并不是在预测下一个词
很久很久以前，牛顿发现了一个描述重力的方程。令人惊奇的是，这个方程非常简单（顶多就是高中代数水平），但它不仅能预测行星和它们卫星的椭圆轨道，还能预测地球上苹果的下落。尽管牛顿的方程威力无比又简单明了，但它还是有些小问题。最有名的例子就是，水星的轨道跟预测的不符。后来爱因斯坦提出了广义相对论，解决了这些问题，而且还能预测黑洞和引力波。
2025-04-06 11:01:33
483
原创 探索 AI 思维的剖析
幸运的是，今天这篇论文的研究者们，Anthropic 的团队，之前就发现了一个非常有趣的现象：虽然单个神经元是多义的，但某些特定的神经元组合却是单义的（唯一关联到某个特定的输出）。突然之间，我们找到了一个有希望的方法，从一团神秘又杂乱的神经元“泥潭”，变成了一张可以解释的神经元电路网，我们能把特定的电路对应到特定的话题上，从而预测模型的行为。简单来说，它们是由一堆叫做“神经元”的元素组成的网络，这些神经元之间彼此深度互联（可以把它粗略地类比成大脑里的神经元，虽然这个比喻其实挺松散的）。
2025-04-05 16:14:49
541
原创 如何有效应对 RAG 中的复杂查询？
当你想用大型语言模型（LLMs）来回答复杂问题时，挑战通常在于推理信息的过程，而这些信息往往是模糊不清的，甚至根本没有直接提供。和那种带着清晰指令的简单问题不一样，这类问题需要你更深入地理解数据中隐藏的联系或洞见。
2025-04-04 09:48:19
587
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人