xzqbear-CSDN博客

原创手撕统计机器学习 - LASSO 变量选择

本文介绍了LASSO方法在高维小样本数据中的变量选择应用。文章首先阐述了高维小样本问题的背景和线性回归系数的解释意义，指出变量选择需要通过压缩不重要特征的系数来实现。针对直接阈值法的不足，既保证稀疏性又避免组合爆炸的计算复杂度。重点分析了正交设计下 LASSO 的解析解推导过程，得出软阈值解公式，并展示其几何意义——L1约束的顶点与椭圆等高线相切时产生稀疏解。

2025-09-11 21:46:50 991

原创随机运筹学 - 动态规划简单介绍

本文简要介绍了动态规划的基本概念和应用。主要内容包括：动态规划的基本要素（阶段、状态、决策、状态转移方程和指标函数）；重要性质（如无后效性）；通过图解示例说明动态规划原理；介绍逆序求解法和顺序解法两种基本方法；最后列举了背包问题、线性问题和递推问题等典型动态规划应用场景。文章通过具体例子阐述了动态规划如何将复杂问题分解为子问题并逐步求解的核心思想。

2025-09-10 16:56:44 721

原创手撕统计机器学习 - 岭回归、感知机

本文介绍了统计机器学习中的岭回归和感知机方法。岭回归通过引入L2范数惩罚项解决了线性回归中多重共线性导致的矩阵不可逆问题，推导了其闭式解。感知机则是一种线性分类器，通过定义误分类点距离损失函数，并采用随机梯度下降进行优化。文章详细阐述了两种方法的数学原理、损失函数设计及优化过程，特别强调了岭回归中惩罚参数λ的作用和感知机中损失函数的推导思路。

2025-09-07 17:51:51 706

原创手撕统计机器学习 - 线性模型 - OLS, WLS, 在线学习（线性回归增量更新）

本文介绍了统计机器学习中的线性回归模型，重点讲解了普通最小二乘法（OLS）和加权最小二乘法（WLS）的原理与实现。文章首先阐述了回归任务的基本概念和目标，通过房价预测等例子说明线性模型的应用场景。然后详细推导了OLS的正规方程解法，解释了矩阵求导过程，并讨论了计算复杂性问题。针对OLS的局限性，文章进一步提出了WLS方法，通过引入样本权重矩阵来改进模型性能，给出了权重设置的思路。全文采用数学推导与编程实现相结合的方式，既介绍了理论原理，又考虑了实际应用中的计算效率问题。

2025-09-02 15:55:57 853