- 博客(3)
- 收藏
- 关注
RSS订阅原创 机器学习优化方法及工具总结
从优化的梯度信息的角度看，优化算法一般可分为三类：first-order optimization methods（一阶优化方法）以随机梯度下降算法为代表、high-order optimization methods（高阶优化方法）以牛顿法为代表、 heuristic derivative-free optimization methods（启发式无导数优化方法）以坐标下降法为代表。
2023-02-15 14:58:25
344
原创 Batch Normalization理解总结
Batch Normlization的直观思想 BN就是将打乱的数据集分为若干batch，对于每一个batch单独做normliazation，使其输入特征服从均值为0，方差为1的标准正态分布。为了保证数据能够表达出原有的含义，对normlization后的数据作线性变换，使其能够表达出原有含义。BN的目的就是通过改变输入数据分布来得到较优梯度。
2022-11-02 14:33:08
449
原创 极大似然估计（MLE）相关总结
一、极大似然估计概述极大似然估计是频率学派的进行参数估计的法宝，基于以下两种假设前提：①某一事件发生是因为该事件发生概率最大。②事件发生与模型参数θ有关，模型参数θ是一个定值。极大似然估计是通过已知样本数据，来推导出最大概率出现这个事实的模型参数值，并将这一参数值作为估计的真实值。举例：抛硬币10次，若出现一次结果为5次正面朝上，5次反面朝上。设出现这一结果与P有关，则似然函数为L(P)=p^5*(1-p)^5,对其取对数求导，令导数为零，求得p为...
2022-05-15 15:46:27
13933
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人