bylander的博客

OpenAI最新发布《A practical guide to building agents》，比较有指导意义，做一个介绍。

Sionna是NVIDIA推出的面向6G无线通信物理层研究的开源库，为6G的技术研究（尤其是AI方面）提供了全新工具，非常有价值。下面对Sionna平台进行介绍。

在b站听了李宏毅2025最新的AI Agent教程，简单易懂，而且紧跟发展，有大量最新的研究进展。

Gradio 是一个开源的 Python 库，专注于快速构建交互式 Web 界面，特别适用于机器学习模型、数据科学项目或任意 Python 函数的演示与部署。它通过极简的代码实现前后端一体化，无需前端开发经验即可创建功能丰富的应用。

TRL（Transformer Reinforcement Learning） 是由 Hugging Face 开发的一套基于强化学习（Reinforcement Learning, RL）的训练工具，专门用于优化和微调大规模语言模型（如 GPT、LLaMA 等）。它结合了 PPO（Proximal Policy Optimization） 等强化学习算法，使开发者能够高效地对预训练语言模型进行 RL 微调，以优化特定目标（如人类偏好对齐、任务性能提升等）。

最近，AI界最火热的恐怕就是MCP了。作为一个新的知识点，学习的开始，先摘录一些信息，从发展历程、通俗介绍到具体案例，这样可以快速理解MCP。

RadioDiff模型对无线通信领域研究具有显著的促进作用。它为6G网络等提供了精准的无线环境信息，助力网络优化与部署。在智能交通、远程医疗等领域，能保障应用的稳定运行。其高效、精准的无线地图构建能力，为无线通信新技术的研发提供了有力支持，推动了无线通信技术的创新与发展，加速了6G网络等应用场景的实现进程。

若以霍克尼的具象语言重新演绎米罗的抽象符号，两种风格的碰撞的效果？

干刻（Drypoint）是一种独特的版画雕刻技艺，其核心在于以刀代笔，直接在金属版（多为铜版或锌版）表面进行雕刻。与需要化学腐蚀的蚀刻法不同，干刻仅依靠物理刻痕完成创作，雕刻师需手持尖锐的钢针，通过手腕力量在版面上划出深浅不一的线条。这种技法最显著的特征在于刻痕边缘会翻起金属毛边（Burr），当油墨填入凹槽后，毛边会吸附更多颜料，最终在印刷时形成朦胧的灰调与柔和的过渡，赋予画面独特的颗粒感和呼吸感

SSM-Transformer混合架构。具体做法是将自注意力和MLP层添加到Mamba架构中。56层的Mamba-2-Hybrid中包含4个（7.1%）自注意力层，24 个（42.9%）Mamba-2层和28个（50%）MLP 层，其中Mamba-2层使用与Mamba-2模型相同的参数。消融实验的结果还显示，混合模型中不添加旋转位置编码（RoPE）能达到更好的下游任务性能，而且Mamba层、自注意力层、MLP层的顺序也会影响模型能力。具体来说，Mamba层必须出现在架构的开头，以确保模型自然地学习到位置信息

初步尝试夸克AI的深度思考和AI总结试用

试用了秘塔AI搜索的“生成互动网页”功能，简单实用！

最近学习了从RLHF到GRPO的发展变化

有关AI非常之言语，即AI非常道！

MoBA论文一作、知乎答主【Andrew Lu】的回答详述了研发过程中三次踩坑的经起伏历，被知友形容为「思维链背后的思维链开源」

这一版是针对黑白木刻风格进行Lora微调的第三版模型。对比第一版，能够刻画的更加细腻，泛化性也获得大幅提升。

一看AI的技术边界，准确判断AI真的能做什么；二看问题看增量，看自己行业、自己周边的问题和增量机会。

在魔塔社区的AIGC专区，通过Lora技术训练了一个黑白木刻风格的模型。再通过Deepseek生成希腊神话的提示词。

最近在魔塔社区稍微学习了通过Lora技术生成图片，尝试一下大卫• 霍克尼的风格

在DeepSeek R1的技术报告中，还有这样一个技术：蒸馏赋予小模型推理能力。这项技术的意义和影响是什么？

重新回头，复盘一下DeepSeek的发展思路，以及未来的发展策略。越想越佩服梁文锋，思路之缜密，令人震惊！

个人觉得，可能还有两个scaling方向，就是训练成本和推理成本的持续降低，或许这依赖于新的更高效——同时也能scaling的架构

DeepSeek为什么强？四个方面：模型的智能水平、训练成本、推理成本和用户体验。

关于DeepSeek-R1的几个流程图，清晰易懂形象直观

DeepSeek-V3是一个拥有6710亿参数的专家混合（MoE）语言模型，每次生成一个标记时激活370亿参数。为了实现高效推理和经济型训练，DeepSeek-V3采用了多头潜在注意力（MLA）和DeepSeekMoE架构，这两种架构在DeepSeek-V2中得到了充分验证。此外，DeepSeek-V3率先采用无辅助损失策略进行负载均衡，并设置了多标记预测训练目标以实现更强大的性能。

在地平线智驾科技畅想日上，地平线副总裁兼首席架构师苏箐（前华为智驾负责人）做了即兴演讲，以下是其演讲的主要内容：对自动驾驶行业的看法自动驾驶的难度与挑战：苏箐表示自动驾驶非常难，他做自动驾驶到现在已经快抑郁了，很多优秀的同学都改行了，去做具身智能机器人。他认为自动驾驶是第一个在物理世界跟人交互的机器人，是在一个半规则和半非规则的场景里面的东西，如果连自动驾驶都搞不定，去做完全是非结构化的机器人是不可能的。自动驾驶的价值拐点：苏箐认为自动驾驶系统的竞争对手是人类本身，其价值是一个拐点式的价值。

从MHA、MQA、GQA到MLA的简单分析和对比

在人类的记忆模式中，编造事情和回忆事情之间没有明确的界限，记忆某事本质上就是编织一些看似合理的东西

看到不少的总结，边摘录边思考。尤其是这句话：“人类真正的问题是：我们拥有旧石器时代的情感、中世纪的制度和神一般的技术”。

翻了一下DeepSeek-V3 技术报告学习，太长，只是大概翻了一下，其中Multi-Token Prediction的技术就很亮眼。

对于AI的学习，陆陆续续，也持续了一年多了，从一个完全的小白，到能够理解最前沿的技术

OpenAI ChatGPT o1 背后的关键技术Test-time Compute Scaling，Huggingface实现并开源了！Hugging Face 团队发布了一篇关于“开源模型中的推理阶段计算扩展”（Test-time Compute Scaling） 的研究文章。Hugging Face 团队通过复现 DeepMind 等研究成果，通过测试时计算扩展（test-time compute scaling）来提升小模型的性能，使其在某些情况下超越更大规模的模型。

2024年12月21日，OpenAI在其为期12天发布会活动的最后一天，正式发布了备受期待的o3系列模型，包括o3和o3-mini。o3 是一个非常强大的模型，在编码、数学以及 ARC-AGI 基准测试等多个基准上超过了 OpenAI 此前的 o1 模型（o1得分25%，o3得分87.5%)。o3-mini 是 o3 更经济高效且性能导向的版本，在成本和延迟方面比 o1-mini 低得多，同时提供类似的功能。

作为O1项目的核心成员，他从一线研究者的视角，详细阐述了推理计算扩展的一些思考。和Ilya 讲预训练结束的主要原因是数据耗尽原因不同，Noam则强掉了经济性因素——预训练的扩展现在太贵太复杂了，所以难以为继，而推理计算则正处于当年的”GPT-2“阶段，方兴未艾。对于Noam预测，未来可能会出现一个统一模型，这个论点我还是有点怀疑，或者如同生物进化一样，更多类似的智能组织在一起，更为合理。Noam认为，学术界在资源受限的情况下，应该专注于探索具备长期潜力的新技术，而不是在尖端领域与业界竞争。

Mamba的发展历程经历HiPPO->S4->S6演化而来。本篇做一个简单的回顾，再结合一个RNN的优化案例，更清晰地看明Mamba的思路。

这篇文章介绍了苹果公司开发的基础语言模型（Apple Foundation Language Models，简称AFM），这些模型旨在为苹果智能（Apple Intelligence）功能提供支持。文章详细描述了这些模型的架构、训练过程、优化方法以及评估结果，并强调了负责任的人工智能（Responsible AI）原则在模型开发过程中的应用。

理解Mamba的一个维度是从RNN出发，另一个维度是从线性注意力的角度。

文章推导出了HiPPO框架的一个更一般和直观的公式，它为S4提供了一个简单的数学解释，即通过指数扭曲的Legendre多项式（exponentially-warped Legendre polynomials）分解来捕获长期依赖关系。我们的推广引入了一个理论上丰富的SSM类别，也让我们推导出了更直观的S4变体，用于其他基底，如傅里叶基底，并解释了训练S4的其他方面，例如如何初始化重要的时间尺度参数。

对于S6模型的硬件感知设计，尤其是所谓的并行扫描，看论文没有看清楚，查了相关博客，再进行一下梳理。

本文对《Mamba: Linear-Time Sequence Modeling with Selective State Spaces》这篇论文进行了完整学习