![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
数学基础
知了不知蝉鸣惊
AI
展开
-
机器学习中的矩阵求导的一点总结(三种方法求线性回归最佳参数)
在实际机器学习工作中,最常用的就是实值函数 y 对向量 x或矩阵 X 求导,比如最简单的线性回归问题中由目标函数 dJ(w)dJ(w) dJ(w) 求解最佳参数向量 ww w 。矩阵/向量求导问题中要明确是什么量对什么量求导,得到的是什么形式的量实值函数对向量求导,结果是同样维度和方向的向量实值函数对矩阵求导,结果是同样维度的矩阵本文以线性回归问题中由目标函数 dJ(w)dJ...原创 2018-05-01 21:55:27 · 9535 阅读 · 3 评论 -
凸优化问题,凸二次规划问题QP,凸函数
约束优化问题凸函数凸优化问题凸二次规划问题约束优化问题min w  f(w)min w  f(w)min_{ \ w} \ \ f(w)s.t.   gi(w)≤0  &a原创 2018-07-27 17:25:41 · 46767 阅读 · 15 评论 -
迹技巧
迹是矩阵的主对角线元素之和。性质1 tra=a,tr(aA)=a∗trAtr a = a, tr (aA) = a *tr Atra=a,tr(aA)=a∗trA ,a为标量;常用于 求解凸优化问题中,一般对实值函数取迹,起到计算简单的作用。性质2 tr(A+B)=trA+trBtr (A+B) = trA + trBtr(A+B)=trA+trB性质3 trAB=trBA,tr...原创 2019-03-11 14:32:54 · 1141 阅读 · 0 评论