【第二章 微积分】
中值定理、柯西中值定理、洛必达法则
泰勒公式
函数的凹凸性、函数的极值
不定积分、凑微分、分部积分法、定积分
牛顿莱布尼茨公式
全部积分、偏导数
方向导数与梯度
多元函数的泰勒公式、海森矩阵
多元函数的极值
矩阵的求导(上一节已经讲解完)
本节讲解:微积分:多元函数极值、矩阵的求导
![c1523b68cbb71a454e88b565e073e73d.png](https://i-blog.csdnimg.cn/blog_migrate/7318b6ef787fbfd18d0132ff50896ae7.png)
矩阵的求导:详见上一篇
【重要通知】
将从深度学习理论到实践,建立一个微信公众号,把近期的总结以专题形式公布出来,初步目录为:欢迎大家关注此公众号:ai_portumo
【目录预告】
说明:加粗表示已经讲解完。未加粗表示即将讲解。
【第一章 线性代数】
矩阵、迹、转置
行列式、三角矩阵、行列式的性质、余子式
克拉姆法则、齐次线性方程组
逆矩阵、矩阵的初等变换
矩阵的秩、线性方程组的解
向量
方阵的特征值和特征向量
相似矩阵、矩阵对角化、对阵矩阵对角化
二次型与矩阵正定性
SVD分解的证明、SVD分解、SVD分解的应用
多元线性回归、最小二乘法
【第二章 微积分】
中值定理、柯西中值定理、洛必达法则
泰勒公式
函数的凹凸性、函数的极值
不定积分、凑微分、分部积分法、定积分
牛顿莱布尼茨公式
全部积分、偏导数
方向导数与梯度
多元函数的泰勒公式、海森矩阵
多元函数的极值
矩阵的求导
【第三章 概率论】
条件概率、全概率公式、贝叶斯公式
独立性
离散随机变量、连续随机变量
分布函数:均匀分布、指数分布、正态分布
随机变量函数的分布
多维随机变量
边缘分布、条件分布
期望(连续型、离散型)
方差
方差的常用性质、协方差
协方差矩阵
参数估计、矩估计
极大似然估计、高斯分布、无偏性
【第四章 机器学习】
无约束优化、梯度下降法
牛顿法、两种解释
牛顿法的收敛速度
有约束的优化、拉格朗日乘子的意义、KKT条件
不等式约束
约束问题总结:等式约束、不等式约束
优化的对偶理论、原始问题、对偶问题
【第五章 深度学习】
容量、过拟合、欠拟合
逻辑回归、线性回归、二项逻辑回归模型
贝叶斯估计、频率派、贝叶斯派
QA J=‖xa−y‖^2 求导
PCA原理与推导
LDA、PCA与LDA区别
SVM支持向量机
决策树
传递函数、激活函数、损失函数、KL距离、相对熵
前向传播、反向算法
深度学习中的正则化
Bagging、Dropout
深度模型中的优化
动量Momentum、AdaGrad、Adam、BatchNorm
卷积网络
CNN前向算法、反向算法、Pooling
Inception网络:V1、V2、V3、V4
循环神经网络、前向、后向
LSTM
GRU
深度学习中的一些高级技术
神经网络量化
对抗网络