Ⅲ- 数学知识点

分享创新知识、改变世界！

更新：2022.6.24【1】--2023.12.15【2】

​​​​​​​

傅里叶变换、拉普拉斯变换、Z 变换的联系是什么？为什么要进行这些变换？

理解信号与系统以及数字信号处理

什么是通信原理？原来这么简单

【打通复数域】复数矩阵的实数等效表示

概率论的两个重要定理： 大数定理 和 中心极限定理

拉格朗日乘数法讲解及案例

极大似然估计详解

天大杨挺教授优化设计笔记+优化设计课堂

向量与矩阵的范数_高收藏

如何直观地理解「协方差矩阵」？

神奇又好玩的协方差矩阵

正定矩阵与半正定矩阵定义性质与理解+半正定矩阵和正定矩阵的一些理解和补充

向量内积&外积

从贝叶斯估计到卡尔曼滤波(详细推导)(上)

矩阵求导术（上）

极大似然估计与最大后验概率估计

---

不管是求解优化目标还是为了调参，只要问题从理论层面上升到实际操作层面，就离不开优化算法。主讲梯度下降（Gradient Descent）算法。

动量法(Momentum)

普通的梯度下降法解决常规问题，如线性回归，但当问题变复杂，普通的梯度下降法就会面临很多局限。当接近最优值时梯度会比较小，由于学习率固定，普通的梯度下降法的收敛速度会变慢，有时甚至陷入局部最优。这时如果考虑历史梯度，将会引导参数朝着最优值更快收敛，这就是动量算法的基本思想。

动量法、Nesterov法、自然梯度法

【优化算法】Nesterov算法

---