![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
CVsaber
图像处理,模式识别,深度学习,算法研究
展开
-
细品SVM
目录SVM的简介SVM要解决的问题SVM与逻辑回归的区别SVM的推导SVM的优化SVM的核函数SVM的简介SVM要解决的问题对于线性可分的问题,我们可以得到很多的决策面将不同类别的样本分开,以二分类为例,如图所示,可以画出很多决策面(在二维平面上,决策面退化为线)那么SVM希望解决的就是,找到这众多决策面中,最优的决策面,使得模型更具有鲁棒性,也就是找到两类样本的最大间隔,如图所示:SVM与逻辑回归的区别SVM的决策面只与支持向量(与决策面距离最近的向量)有关,而逻辑回归与所有向量都有关系,原创 2020-07-08 15:43:53 · 250 阅读 · 0 评论 -
回归损失函数:L1 Loss, L2 Loss, Smooth L1 Loss
讲解的很清楚:https://www.cnblogs.com/wangguchangqing/p/12021638.html转载 2020-07-07 20:13:04 · 1147 阅读 · 0 评论 -
训练神经网络的tricks
目录避免过拟合数据的问题关于数据集数据增强TTA(Test Time Augmentation)难以区分的数据hard-negative-mining尝试过拟合一个小数据集学习率合适的学习率(learning rate)学习率与batch-size的关系查分学习率与迁移学习余弦退火(cosine annealing)和热重启的随机梯度下降权重初始化多尺度训练Cross Validation 交叉验...转载 2020-03-06 19:36:17 · 566 阅读 · 0 评论 -
准确率Accuracy与损失函数Loss的关系
自定义标题背景定义关系背景在进行一项分类任务训练时,观察到验证集上的accuracy增加的同时,loss也在增加,因此产生了一些疑惑,对accuracy和loss之间的关系进行探索。定义在理解他们的关系之前,先来回顾一下什么是交叉熵损失和准确率。交叉熵损失函数:交叉熵输出的是正确标签的似然对数,和准确率有一定的关系,但是取值范围更大。交叉熵损失公式:其中y^(i)\widehat{y...原创 2020-03-06 17:32:31 · 34008 阅读 · 12 评论 -
L1和L2的正则化的理解
学机器学习,都会接触到L1和L2正则化的概念:https://blog.csdn.net/jinping_shi/article/details/52433975转载 2019-04-18 23:27:02 · 148 阅读 · 0 评论