MachineLearning
文章平均质量分 86
恒友成
勿在浮沙筑高台
左脑学习,右脑应用
展开
-
15.矩阵运算与img2col方式的卷积
矩阵乘法运算(CABA∈Rm×kB∈Rk×nC∈Rm×nCmnk1∑KAmkBkn;mnk∈R矩阵的乘法操作可以写成如下图所示,从上面可以看到使用普通的矩阵乘法运算,其复杂度是On3,这个复杂度相对来说是很高的,当矩阵的维度很大时,运算量会显著增加。矩阵运算作为基础运算,有大量的科学家对其进行研究,试图降低其运算复杂度。以为例,其将矩阵乘法的运算复杂度降低到了Onlog27≈On。原创 2023-07-23 11:35:34 · 407 阅读 · 0 评论 -
14.Focal Loss
这篇论文是HeKaiMing团队,2017年08月提交的,聚焦于探讨一阶段目标检测器与二阶段目标检测器的性能差异,**作者发现一阶目标检测的方法准确率不如二阶段目标检测器的主要原因是正负anchor训练样本的极度不平衡,一阶检测头给出的上万个候选框中大部分不包含物体,正负数据比列可达1100∗∗1:100**1100∗∗。什么意思呢?负样本数量太大,占总的loss的大部分,而且多是容易分类的,因此使得模型的优化方向更倾向于发现负样本,以前的算法使用OHEM。原创 2023-03-03 00:55:26 · 210 阅读 · 0 评论 -
(四)线性插值
线性插值是指使用连接两个已知点的直线来确定同在这个直线上的未知点值的方法。是已知的四个点,双线性插值所做的事情即根据这四个点求中间点。手动计算双线性插值过程,需先将resize后大小为。时,上式仍然可以使用,这种情况下,这种方法叫作。, 可将上图当成是沿z轴方向的俯视图,后,对这两点再应用线性插值即可求。方法,插值方法选择双线性插值。关于双线性插值,可以将上述公式。欢迎访问个人网络日志🌹🌹。,用双线性插值求其中间点。欢迎访问个人网络日志🌹🌹。用线性插值公式来求,用线性插值公式来求。四个像素点的值分别为。..原创 2022-08-12 22:08:29 · 3327 阅读 · 0 评论 -
(三)带权重和ignore_index的交叉熵损失函数
欢迎访问个人网络日志🌹🌹知行空间🌹🌹使用数据集进行验证的分割算法,因这个数据集是,也就是图像中的每个像素都标注了类别,因此背景只占了很少的一部分,因此训练时会设置,在商汤的框架中的中的参数,正是为了实现忽略背景解析正常的交叉熵计算公式为:lj=yjlog(efyj∑i=1cefi)l_j = y_jlog(\frac{e^{f_{y_j}}}{\sum\limits_{i=1}^{c}e^{f_i}})lj=yjlog(i=1∑cefiefyj)即需要忽略掉的,再计算交叉熵的时....原创 2022-07-05 23:55:43 · 1515 阅读 · 0 评论 -
机器学习常用损失函数
损失函数主要是用来衡量真值与预测值之间的偏离程度,根据其离散还是连续分为分类和回归损失函数。1.二分类交叉熵Binary Cross-Entropy Loss:L(yi,yi^)=−1m∑i=1m(yilog(yi^)+(1−yi)(1−yi^))L(y_{i}, \hat{y_{i}}) = -\frac{1}{m}\sum\limits_{i=1}^{m}(y_{i}log(\hat{y_{i}})+(1-y_{i})(1-\hat{y_{i}}))L(yi,yi^)=−m1i=1∑m(原创 2021-09-23 00:24:06 · 699 阅读 · 0 评论 -
(二)sklearn.metrics.classification_report中的Micro/Macro/Weighted Average指标
sklearn.metrics.classification_report中的Micro/Macro/Weighted Average指标原创 2022-05-09 00:54:36 · 1819 阅读 · 1 评论 -
Global Contrast Normalization
Global Contrast Normalization原创 2022-05-06 00:50:48 · 569 阅读 · 1 评论 -
K_Nearest_Neighbot(knn)方法及其Pyhon 实现
GREAT THANKS TO: http://cs231n.github.io/classification/1.近邻算法 给定一个训练数据集合,对新的输入实例,在训练数据集中找到与该实例最近邻的k个实例,这k个实例多数属于某个类,就把这个实例划分为某个类。k=1时,称为最近邻算法。k近邻算法的三个基本要素: k值的选择: k值的减小就相当于是整体模型变得复杂,容易过拟合...原创 2018-08-02 14:24:05 · 808 阅读 · 0 评论 -
softmax分类(多项逻辑回归)的Pyhon实现及其与SVM的比较
GREAT THANKS TO:http://cs231n.github.io/linear-classify/#softmax 1..softmax分类 SVM和softmax是两大常用的分类方法,softmax分类器是二项逻辑回归在多分类问题上的应用.多项逻辑回归:P(Y=k|x)=exp(ωkx)1+∑k=1K−1exp(ωkx) ,k=1,2,..,KP(Y=k...原创 2018-08-01 13:57:26 · 1642 阅读 · 0 评论 -
logistic regression及其Python实现
1.(逻辑斯蒂分布)logistic distributionX是连续型随机变量,则logistic distribution是: F(x)=P(X≤x)=11+e−(x−u)/γ , f(x)=F′(x)=e−(x−μ)/γγ(1+e−(x−μ)/γ)2F(x)=P(X≤x)=11+e−(x−u)/γ , f(x)=F′(x)=e−(x−μ)/γγ(...原创 2018-07-27 22:12:19 · 2032 阅读 · 0 评论 -
多分类支持向量机及其Python实现
1.多分类支持向量机Multiclass Support Vector Machine (SVM)其评分函数为:f(ω)=ωx+bf(ω)=ωx+bf(\omega)=\omega x+b在此用到的都是支持向量机的原始形式,没有核方法也没有使用SMO算法。无约束原始优化问题。常用的多分类支持向量机有One-Vs-All(OVA),All-Vs-All,Structured SVM,其中O...原创 2018-07-30 23:38:57 · 24499 阅读 · 37 评论 -
逻辑回归与线性回归的区别与联系
逻辑回归与线性回归都属于广义线性回归模型,其区别与联系从以下几个方面比较:分类与回归:回归模型就是预测一个连续变量(如降水量,价格等)。在分类问题中,预测属于某类的概率,可以看成回归问题。这可以说是使用回归算法的分类方法。输出:直接使用线性回归的输出作为概率是有问题的,因为其值有可能小于0或者大于1,这是不符合实际情况的,逻辑回归的输出正是[0,1]区间。见下图,参数估计方法:线性回...原创 2018-07-28 17:22:20 · 29295 阅读 · 2 评论 -
反向传播(Back Propagation)与神经网络(Neural Network)
图片来自:http://galaxy.agh.edu.pl/~vlsi/AI/backp_t_en/backprop.html程序实现参考:http://www.wildml.com/2015/09/implementing-a-neural-network-from-scratch/实验数据来自于:http://yann.lecun.com/exdb/mnist/侵删。原创 2018-07-19 21:55:54 · 2803 阅读 · 1 评论 -
李航《统计学习方法》SMO算法推导中的思考
1. p.1282. 定理7.6的证明即求最优化问题:minα1,α2W(α1,α2)=12K11α21+12K22α22+y1y2K21α1α2−(α1+α2)+y1α1∑i=3NyiαiKi1+y2α2∑i=3NyiαiKi2s.t.α1y1+α2y2=−∑i=3Nyiαi=ς(1)0≤αi≤C,i=1,2(2)minα1,α2W(α1,α2)=12K11α12+12K22α22+y1...原创 2018-06-22 12:31:54 · 1408 阅读 · 0 评论 -
机器学习基石PLA相关
P:证明,当w0=0w0=0w_0=0时,经过TTT次迭代,有以下关系式: wTf‖wf‖wT‖wT‖≥T‾‾√⋅constantwfT‖wf‖wT‖wT‖≥T⋅constant\begin{equation}\frac{w_f^T}{\|w_f\|}\frac{w_T}{\|w_T\|}\ge\sqrt{T}\cdot constant\end{equation} 下图中通过wfw...原创 2018-06-04 21:26:10 · 305 阅读 · 0 评论