![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
文章平均质量分 93
runningwei
这个作者很懒,什么都没留下…
展开
-
各种Normalization
内部协变量偏移深度神经网络模型的训练为什么会很困难?其中一个重要的原因是,深度神经网络涉及到很多层的叠加,而每一层的参数更新会导致上一层输入数据分布发生变化,通过层层叠加,高层的输入分布会非常剧烈,这就使得高层需要不断去重新适应底层的参数更新。Google 将这一现象总结为Internal Covariate Shift.(ICS)Normalization的通用框架是平移参数, 是缩放参数。通过这两个参数进行shift和scale变换: ,得到的数据符合均值为0、方差为1的标准分布 B.原创 2021-05-31 17:30:04 · 169 阅读 · 0 评论 -
分类、目标检测中的评价指标
一:准确率(Accuracy)、错误率 (Error rate)准确率 = 正确分类的样本数 / 总样本数错误率 = 错误分类的样本数 / 总样本数 = 1 - 准确率Top-1准确率:预测类别按置信度从高到低排序,取排名第一的类别作为预测结果,计算准确率Top-5准确率:取排名前五的类别作为预测结果(只要包含真实类别,就算分类正确),计算准确率...原创 2021-05-30 10:27:06 · 3414 阅读 · 0 评论 -
深入理解L1、L2正则化
1 正则化的概念 正则化(Regularization)是机器学习中对原始损失函数引入额外信息,以便防止过拟合和提高模型泛化性能的一类方法的统称。也就是目标函数变成了原始损失函数+额外项,常用的额外项一般有两种,英文称作ℓ1−????????????????ℓ1−norm和ℓ2−????????????????ℓ2−norm,中文称作L1正则化和L2正则化,或者L1范数和L2范数(实际是L2范数的平方)。 L1正则化和L2正则化可以看做是损失函数的惩罚项。所谓惩罚是指对损失函数中的某些参数做转载 2021-04-25 10:53:19 · 594 阅读 · 0 评论 -
关于novikoff定理成立的条件(感知机的收敛性)
读李航的《统计学习方法》时,读到了novikoff定理,内容如下:我马上感到困惑,k怎么与学习率无关呢?难道学习率再小也能保证在此上界次数内学完?研究公式发现,更新k次后得到超平面方程为其中求和项内是每次(共k次)用来更新权重的误分类实例。显然,如果,则可约去,此方程与学习率无关,那么总学习次数与也无关;如果,则此方程与和都有关,总学习次数与和也都有关,这时公式(2.9)就未必成立了。那么究竟它还成不成立呢,让我们做个实验。实验假设训练数据集的正实例点是(3,3), (4原创 2020-11-24 17:04:12 · 714 阅读 · 0 评论