机器学习
文章平均质量分 90
Belouga-
拂彼白石,弹吾素琴。幽涧愀兮流水深,善手明徽高张清。
展开
-
FOCAL LOSS /&/ GIoU Loss
1. FOCAL LOSS总述Focal loss主要是为了解决one-stage目标检测中正负样本比例严重失衡的问题。该损失函数降低了大量简单负样本在训练中所占的权重,也可理解为一种困难样本挖掘。损失函数形式Focal loss是在交叉熵损失函数基础上进行的修改,首先回顾二分类交叉上损失:是经过激活函数的输出,所以在0-1之间。可见普通的交叉熵对于正样本而言,输出概率越大损失越小。对于负样本而言,输出概率越小则损失越小。此时的损失函数在大量简单样本的迭代过程中比较缓慢且可能无法优化至最原创 2021-06-06 16:35:01 · 570 阅读 · 0 评论 -
Mean teachers are better role models
学习记录介绍Mean Teacher论文链接:https://arxiv.org/pdf/1703.01780.pdfMean Teacher 模型主要想解决 Temporal ensembling Model 的一个突出问题,即无标签数据的信息只能在下一次 epoch 时才能更新到模型中。由此带来两个问题:大数据集下,模型更新缓慢;无法实现模型的在线训练;这一模型的核心思想是:模型既充当学生,又充当老师。作为老师,用来产生学生学习时的目标;作为学生,则利用教师模型产生的目标来进行学原创 2021-01-03 14:13:08 · 1062 阅读 · 2 评论 -
激活函数,损失函数以及学习率
学习记录(一)激活函数1. 什么是激活函数2. 常用的激活函数2.1 sigmoid函数2.2 tanh函数2.3 ReLU函数2.4 Leaky ReLU函数3. 为什么要用非线性激活函数?(二)损失函数1. 损失函数、代价函数与目标函数2. 常用的损失函数3. 常用的代价函数(三)学习率1. 什么是学习率(Learning rate)?2. 学习率的调整2.1 离散下降(discrete staircase)2.2 指数减缓(exponential decay)(一)激活函数1. 什么是激活函数在原创 2020-12-31 13:13:28 · 2062 阅读 · 0 评论 -
吴恩达机器学习:支持向量机总结和作业
(一)SVM简介支持向量机(Support Vector Machine,SVM)是一个广泛应于在工业界和学术界的分类算法。与逻辑回归和神经网络相比,它在学习非线性复杂方程上提供了一种更加清晰、更加有效的思路。为了描述支持向量机,我们先从逻辑回归开始讲起,再一点一点修正得到最后的支持向量机。1.1 从逻辑回归到SVM在逻辑回归中,我们已经熟悉了如下所示的假设函数 hθ(x)h_θ(x)hθ(x)和逻辑函数曲线:对于逻辑回归的假设函数 hθ(x)h_\theta(x)hθ(x) :当 y =原创 2020-09-30 15:06:36 · 1120 阅读 · 0 评论 -
吴恩达机器学习:神经网络学习和作业
(一)神经网络模型理解1.1 模型这是一个三层神经网络,第一层为输入层,第二层为隐藏层,第三层为输出层。简单模型:线性回归模型逻辑回归模型优点是容易理解、可解释性较强,但是为了达到相对好的预测效果,可对原始特征进一步抽象,增加更多的特征项来弥补模型在处理非线性问题上的缺陷。LR是一种广义的线性模型,为了提高LR对非线性问题的处理能力,要引入多项式特征,为了充分考虑特征关联,通常也会执行特征之间交叉组合。若仅考虑二次项,也就是只考虑特征两两组合,这样也会得到接近5000个组合特征,若再考虑原创 2020-09-20 16:10:33 · 1808 阅读 · 0 评论 -
吴恩达机器学习:LR回归与正则化
LR回归与正则化(一)介绍Logistic回归算法模型1.1 LR回归1.2 解析数学原理推导1.2.1 Logistic Distribution1.2.1 Logistic Regression代价函数1.3 逻辑回归对比线性回归(二)正则化2.1 欠拟合 & 过度拟合2.2 正则化(三)LR回归算法作业(四)LR回归正则化算法作业小白初学(一)介绍Logistic回归算法模型1.1 LR回归LR回归,虽然这个算法从名字上来看,是回归算法,但其实际上是一个分类算法,学术界也叫它logi原创 2020-09-18 17:02:43 · 1084 阅读 · 0 评论 -
机器学习笔记三 决策树算法
决策树算法(一)基本介绍1.1 决策树原理1.2 决策树的优缺点及适用类型1.3 信息增益(二)决策树算法概述2.1 算法理论2.2 ID3算法2.3 C4.5算法2.4 CART算法2.5 剪枝处理(三)决策树构建3.1 数据处理(子功能模块)3.2 递归构建决策树3.3测试分类和存储分类器3.4 使用 Matplotlib 绘制树形图(四) 实例:使用决策树预测隐形眼镜类型(一)基本介绍决策树学习的算法通常是一个递归地选择最优特征,并根据该特征对训练数据进行分割,使得各个子数据集有一个最好的分类的过原创 2020-09-17 14:46:12 · 417 阅读 · 0 评论 -
机器学习笔记二 单型线性回归
线性回归(一)介绍(二) 数学模型2.1 一元线性回归公式2.2 方差 - 损失函数 Cost Function2.3 优化方法 Optimization Function2.4 算法步骤(三)Python 实现(一)介绍机器学习即指机器可以自我学习,而机器学习的方法就是利用现有的数据和算法,解出算法的参,从而得到可以用的模型。监督学习就是利用已有的数据(我们叫X,或者特征),和数据的标注(叫Y),找到x和y之间的对应关系,或者说是函数f。回归分析是一种因变量为连续值的监督学习。而线性回归指一种x原创 2020-09-12 21:03:45 · 258 阅读 · 0 评论 -
机器学习笔记一 有监督学习和无监督学习
监督学习监督学习是指我们给予算法一个数据集,这个数据集可以是以往相同类型问题的结果,或者绝对正确的经验答案的集合,也就是统计中常说的样本,并且这些数据都是有其固有的“正确答案”,然后算法根据这个集合做出对当前相同类型的问题的结果预测。绝大部分的情况我们给予算法的数据集都是离散的数据。所谓监督(supervised),就是利用已有的正确样本(“特征-结果”对)约束了算法的预测。简单的说就是你看着这些练习册和参考答案给我学会了,然后给我根据关系类比出类似的问题答案。针对于不同类型的问题,需要给出不同类型的原创 2020-09-08 10:47:45 · 2122 阅读 · 0 评论