- 博客(124)
- 资源 (6)
- 收藏
- 关注
RSS订阅原创 DPO中的长度剥削问题与创新性正则化解决方案
Disentangling Length from Quality in Direct Preference Optimization
2025-04-19 14:20:24
679
原创 无需思考的推理模型依然有效：Reasoning Models Can Be Effective Without Thinking
论文最重要的理论贡献是挑战了显式思考过程的必要性。实验表明，即使在经过强化学习或CoT微调的推理模型中，显式思考可能并非性能提升的唯一途径。NoThinking的成功表明，模型可能通过训练过程中内化的推理能力直接生成高质量答案。这一发现为高效推理提供了新的视角。
2025-04-18 20:16:07
651
原创 BERT为何最多处理512个Token？原因与解决方案
BERT有一个广为人知的限制：它最多只能处理512个token的文本输入。为什么会有这个瓶颈？这个限制的根本原因是什么？有没有解决办法？
2025-04-18 16:18:37
724
原创 Non-local Neural Networks（非局部神经网络）：什么是非局部均值？
《Non-local Neural Networks》论文的一个关键贡献是揭示了其提出的非局部操作（Non-local Operation）与Transformer中的自注意力机制（Self-Attention）的联系，并将其扩展为一个更通用的构建模块，适用于图像和视频的时空建模。
2025-04-18 15:44:51
376
原创 Energy Matching中的训练目标分析
在《Energy Matching: Unifying Flow Matching and Energy-Based Models for Generative Modeling》一文中，作者提出了一种新颖的生成模型框架——Energy Matching，通过结合最优传输（Optimal Transport, OT）和能量基础模型（Energy-Based Models, EBMs）的优势，实现高效的样本生成和显式的似然估计。
2025-04-17 20:38:59
1040
原创 什么是Jordan–Kinderlehrer–Otto (JKO)方案
JKO方案通过最小化能量和传输成本，定义了一个离散时间下的概率分布演化过程，能够同时捕捉数据的未归一化似然和从噪声到数据的流。
2025-04-17 19:23:50
305
原创 PixelFlow：像素空间生成模型的新范式（代码实现）
《PixelFlow: Pixel-Space Generative Models with Flow》
2025-04-17 18:36:45
1199
原创 NaViT：Vision Transformer的灵活分辨率与高效训练新范式
《Patch n' Pack: NaViT, a Vision Transformer for any Aspect Ratio and Resolution》
2025-04-17 16:48:17
801
原创 探索Transformer中的注意力沉没（attention sink）现象：为何LLMs偏爱首token？
《Why do LLMs attend to the first token?》
2025-04-16 21:11:29
757
原创 语言生成建模为Token级 Markov 决策过程（Token-Level MDP）详解
Markov 决策过程（MDP）是一种数学框架，用于建模序列决策问题，特别适合描述智能体（agent）与环境（environment）交互并通过学习策略（policy）最大化累积奖励（cumulative reward）的场景。MDP 的核心假设是马尔可夫性，即未来的状态和奖励仅依赖于当前状态和动作，而与历史无关。
2025-04-16 15:03:03
290
原创 ByteDance Seed团队提出VAPO：高效解决长链推理任务的强化学习框架
VAPO（Value-based Augmented Proximal Policy Optimization）
2025-04-16 14:49:46
1229
原创 保罗·格雷厄姆（Paul Graham）创业哲学与人生思考深度报告
本报告将全面梳理保罗·格雷厄姆的创业理念、人生思考、教育理念和写作方法，引用其英文原文材料（包括官方网站文章和其在X平台上的言论）予以佐证。
2025-04-16 13:55:27
933
原创 ByteDance Seed团队：解锁PPO在长链思考任务中的潜力——VC-PPO的创新突破（一）：原理介绍
《What's Behind PPO's Collapse in Long-CoT? Value Optimization Holds the Secret》
2025-04-14 18:00:53
854
原创 ByteDance Seed团队：Value-Calibrated Proximal Policy Optimization (VC-PPO)（二）代码实现
解决Long-COT的问题，代码实现
2025-04-14 17:58:17
722
原创 MATH-SHEPHERD：无需人工标注的数学推理过程监督新方法（Step-by-step-PPO代码）
MATH-SHEPHERD通过自动化的过程监督数据构建框架，突破了PRM训练对人工标注的依赖，为数学推理任务提供了高效、强大的解决方案。
2025-04-13 20:41:12
1070
原创 Attention with Linear Biases (ALiBi)方法介绍：提升Transformer外推能力的创新方法
2022年ICLR会议上发表的论文《Train Short, Test Long: Attention with Linear Biases Enables Input Length Extrapolation》提出了一种简单而高效的方法显著提升了Transformer在长序列上的外推能力。本文将详细介绍ALiBi的核心方法、其为何能提高外推能力，以及后续工作如何进一步优化这一能力。
2025-04-12 21:36:18
1112
原创 技术论文中‘Respect’的含义与用法解析
在技术论文中，“respect” 是一个高频且重要的术语，承载了“遵循”“考虑”“维护”等含义，广泛应用于描述算法如何处理数据特性或约束。
2025-04-12 19:41:00
670
原创 困惑度（Perplexity，简称PPL）在自然语言处理中的全面解析
困惑度（Perplexity，简称PPL）是自然语言处理（NLP）和大语言模型（LLM）领域中常用的评估指标，用于衡量语言模型对文本的建模能力。通俗来说，困惑度反映了模型在预测下一个词时的“困惑”程度：困惑度越低，说明模型对文本的预测越准确，建模能力越强。
2025-04-12 19:26:34
663
原创 写给计算机系同学的李群与李代数系列博客：李群与李代数入门到进阶
通过6篇博客，从基础概念到复杂应用，系统介绍李群和李代数的理论、推导和应用，适合计算机系研究生学习和理解。
2025-04-12 14:23:31
950
原创 写给计算机系同学的李群与李代数（六）：李群与李代数在计算机中的应用
我们将聚焦于李群与李代数如何解决实际问题，涵盖计算机图形学（Computer Graphics）、机器人学（Robotics）和机器学习（Machine Learning）。通过公式推导、具体例子和直观解释，我们将展示这些理论如何转化为高效的算法和优雅的解决方案。
2025-04-12 14:18:17
824
原创 写给计算机系同学的李群与李代数（五）：最大阿贝尔子代数与李代数的分解
我们将聚焦于李代数的一个重要子结构——最大阿贝尔子代数（Maximal Abelian Subalgebra, MASA），并探讨它在分解李代数中的作用。
2025-04-12 14:10:34
979
原创 写给计算机系同学的李群与李代数（四）：李括号与结构常数
我们将深入探讨李代数的“心脏”——李括号（Lie Bracket），并引入结构常数（Structure Constants），揭示李代数的代数结构。通过公式推导、具体例子和几何解释，我们将展示李括号如何描述变换的非交换性，以及结构常数如何量化李代数的“形状”，为计算机科学中的应用奠定基础。
2025-04-12 14:02:13
803
原创 写给计算机系同学的李群与李代数（三）：矩阵指数与李群-李代数对应
我们将聚焦于矩阵指数映射（Matrix Exponential），它是连接李群与李代数的桥梁。通过公式推导、具体例子和几何解释，我们将揭示李代数如何生成李群元素，以及这种对应在计算机科学中的重要性。
2025-04-12 13:53:20
873
原创 苹果公司（Apple Inc.）商业模式及发展历程分析
本报告将全面剖析苹果公司的商业模式及其发展历程。从苹果商业模式的构成、演变路径与核心竞争力入手，深入探讨苹果各核心业务板块（如iPhone、Mac、iPad、Apple Watch以及服务业务）的产品特点、市场表现与增长趋势。此外，报告重点关注苹果在人工智能领域的最新战略布局，包括2024-2025年的AI产品创新、技术投资、开源政策与对外合作，并介绍苹果旗下研究机构（如Apple AI/ML Research等）的角色与成果。
2025-04-12 13:11:20
1211
原创 写给计算机系同学的李群与李代数（二）：李代数的结构——以 so(n) 为例
我们将深入探讨李代数的结构，重点聚焦于特殊正交群 SO(n) 的李代数 so(n)，即由反对称矩阵（Skew-Symmetric Matrix）构成的向量空间。我们会通过公式推导、具体例子和几何解释，帮助你理解李代数的代数性质，以及它为何在计算机科学中如此重要。
2025-04-11 21:56:11
944
原创 写给计算机系同学的李群与李代数（一）：从旋转矩阵到抽象群
本篇博客将带你从熟悉的旋转矩阵出发，逐步走进李群和李代数的世界，揭开它们的神秘面纱。我们会通过公式、推导和例子，结合几何意义和直观解释，帮助你建立对这些概念的初步认识。
2025-04-11 21:39:32
914
原创 深入解析相对位置编码：从Transformer到Relative Position Representations
2018年，Peter Shaw等人在论文《Self-Attention with Relative Position Representations》中首次提出了相对位置编码（Relative Position Representations）的概念，为Transformer引入了一种更灵活、更高效的位置信息建模方式。
2025-04-11 18:18:40
675
原创 美国创业孵化器Y Combinator（YC）深度报告
本报告深入介绍美国创业孵化器Y Combinator（简称YC）的创立背景、发展历程、孵化模式、投资机制、代表性创业公司、市场价值、全球影响力以及历任掌门人的作用。
2025-04-11 14:32:45
632
原创 30个英文网络俚语或缩写：在TikTok、YouTube、X（Twitter）等平台广泛所流行
在年轻群体及受黑人英语（AAVE）影响的语境中经常使用
2025-04-10 20:11:53
350
原创 深入理解 黎曼几何（Riemannian geometry）：从流形（Manifold）到测地线 （geodesic）
Riemannian 几何用流形 M和度量g描述弯曲空间，切空间定义方向，测地线和指数映射提供“直线”和“导航”。对于常曲率流形如 Poincaré 球和超球面，这些工具让概率建模更贴合数据的内在几何。
2025-04-09 22:45:57
394
原创 Riemannian continuous normalizing flows的背景知识：什么是常曲率流形？从Poincaré盘（庞加莱圆盘）到球面
流形的关键在于，它有自己的几何规则（比如如何定义距离和方向），这些规则由“度量”（metric）决定。而“常曲率流形”是指曲率在整个流形上都一样的特殊流形。曲率是什么？可以理解为空间“弯曲程度”的度量，类似你在不同表面上滚小球时感受到的阻力变化。
2025-04-09 21:11:51
926
原创 经典音乐会与歌剧产业发展历程与现状深度报告
经典音乐会与歌剧产业作为文化演出行业的重要组成部分，在不同地区的发展历程与现状各具特色。本报告聚焦北美、欧洲和中国三大区域，深入分析以百老汇（Broadway）、伦敦西区（West End）等音乐剧中心，以及维也纳国家歌剧院（Vienna State Opera）、纽约大都会歌剧院（The Metropolitan Opera）等顶级歌剧院为代表的演出机构的发展轨迹与现状。
2025-04-09 17:16:11
667
原创 环球影城（Universal Studios）全球发展与业务分析报告
环球影城（Universal Studios）是全球知名的主题乐园品牌之一，其母公司为美国康卡斯特（Comcast）旗下的NBC环球（NBCUniversal）。“环球影城”最初源于好莱坞电影制片厂的公众参观活动，经过一个多世纪的发展，如今已在全球多地建立大型主题公园，并成为仅次于迪士尼的世界第二大主题公园品牌
2025-04-09 15:08:39
1377
原创 全球六大迪士尼乐园发展深度报告
迪士尼主题乐园业务作为华特迪士尼公司最具标志性的板块之一，经过数十年的发展，已在全球形成了六大度假区版图，分别位于美国加州、美国佛罗里达、法国巴黎、日本东京、中国香港和中国上海。
2025-04-09 14:43:48
1499
1李永乐线代强化笔记2020年.rar
2020-10-27
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人