![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
基础知识
针对深度学习、机器学习、图像处理的基础知识点
walter114
这个作者很懒,什么都没留下…
展开
-
GD+Optimize
优化问题的框架,给定一个与参数x有关的目标函数J(x),求使得J(x)最小的参数x。通过不断向梯度负方向移动参数来求解。 BGD指批量梯度下降,要计算整个Batch中的梯度。优点:容易求得最优解。缺点:速度慢,数据量大时不能行。 SGD指随机梯度下降,只计算某个样本的梯度,用一个样本的梯度代替整体的梯度。优点:速度快。缺点:容易跳出最优,收敛不稳定。 MBGD指选取少量梯度下降,介于BGD和SGD之间。优点:速度快,收敛稳定。 存在问题:学习率的设定、学习率的调整策略、不同参数更新的学习率、局部最优原创 2020-07-06 20:33:54 · 131 阅读 · 0 评论 -
BN+LN+GN
Normalization是为解决数据间独立同分布问题而提出的,独立指的是去除特征之间的关联性,同分布指的是使所有特征具有相同的均值和方差,Internal Covariate Shift 指的是源空间和目标空间条件概率一致,但边缘概率不一致。Normalization做简单的白化处理,即在数据送入神经元之前对其做平移和伸缩变化, 假设每个Batch的输入为N×C×H×W,其中N代表每个Batch中的样本数,C代表每个样本中的通道数,H代表样本的长,W代表样本的宽。将输入中的参数看做书本,即N代表有书本的原创 2020-07-06 19:20:33 · 244 阅读 · 0 评论 -
LR+Sigmod+Softmax+CE
逻辑回归LR是机器学习中一种主流的分类模型,主要用于二分类问题。 在这之前,线性回归多用来解决回归和分类问题,但是在分类问题中表现不佳,其输出值是不确定范围的。 LR将线性回归模型不确定范围的输出值通过Sigmod函数映射到(0,1)之间,即伯努利分布。 确定LR的数学形式之后,一般通过最大似然估计来求解模型的参数,即找到一组参数使得输出概率最大。一般通过梯度下降法求解最优解。加入正则项后LR是严格的凸函数,一定存在全局最优解。 将Sigmod函数换成Softmax函数便可解决多分类问题,计算每个目原创 2020-07-06 16:27:43 · 178 阅读 · 0 评论