机器学习
Fm镄
这个作者很懒,什么都没留下…
展开
-
SVM详解
转载自:https://blog.csdn.net/b285795298/article/details/81977271转载 2019-10-28 10:47:36 · 135 阅读 · 0 评论 -
HOG+SVM传统行人检测方法概述
HOG+SVM主要用于行人检测行人检测得难点在于行人目标处于运动状态,姿态存在非常多得差异。主要流程如下:1.提取HOG特征2.训练SVM分类器3.利用滑动窗口提取目标区域,进行分类判断4.NMS5.输出检测结果HOG特征(纹理特征的一种)具体可以参考这篇博客,写的很好:https://blog.csdn.net/Pierce_KK/article/details/...原创 2019-10-28 09:56:36 · 1476 阅读 · 0 评论 -
知识蒸馏(Knowledge Distillation)
1、Distilling the Knowledge in a Neural NetworkHinton的文章"Distilling the Knowledge in a Neural Network"首次提出了知识蒸馏(暗知识提取)的概念,通过引入与教师网络(teacher network:复杂、但推理性能优越)相关的软目标(soft-target)作为total loss的一部分,以诱导学...转载 2019-04-11 21:17:16 · 968 阅读 · 0 评论 -
Deformable Convolutional Networks v2 可变形卷积v2论文理解(更新中)
本论文的翻译版可以参考我的这篇博客:https://blog.csdn.net/weixin_39568744/article/details/89218635知识栈在阅读这篇论文时遇到了很多知识盲区和疑惑,所以途中阅读了很多其他论文和文章。现将其中感觉不错的记录如下:知识蒸馏网络:https://www.cnblogs.com/liaohuiqiang/p/9170582.html...原创 2019-04-15 20:36:02 · 2273 阅读 · 0 评论 -
机器学习中 L1 和 L2 正则化
---------------------作者:红色石头Will来源:CSDN原文:https://blog.csdn.net/red_stone1/article/details/80755144版权声明:本文为博主原创文章,转载请附上博文链接!------------------------------------------------------------------...转载 2019-04-03 15:48:55 · 226 阅读 · 0 评论 -
LRN ( Local Response Normalization) 局部响应归一化层
LRN ( Local Response Normalization) 局部响应归一化层·首先在弄懂原理之前,希望读者能够认真的看两遍公式,而不是直接看别人解释的原理·是归一化后的值,i是通道的位置,代表更新第几个通道的值,x与y代表待更新像素的位置。·是输入值,是激活函数Relu的输出值·k、alpha、beta、n/2 都是自定义系数,读者可以先不用理会有什么用总结的来说,是对...转载 2019-04-11 09:24:24 · 158 阅读 · 0 评论 -
Deformable Convolutional Networks v2 可变形卷积v2版翻译
AbstractThe superior performance of Deformable Convolutional Networks arises from its ability to adapt to the geometric variations of objects.可变形卷积网络的优越性能源于其对目标几何变化的适应能力Through an examination of...原创 2019-04-12 21:58:21 · 3674 阅读 · 0 评论 -
Spatial Transformer Networks(空间变换网络)论文解读
转载自:https://www.cnblogs.com/liaohuiqiang/p/9226335.html论文来源:2015, NIPSMax Jaderberg, Karen Simonyan, Andrew Zisserman, Koray KavukcuogluGoogle DeepMind为什么提出(Why)一个理想中的模型:我们希望鲁棒的图像处理模型具有空间不变性,...转载 2019-04-10 09:46:56 · 473 阅读 · 0 评论 -
知识蒸馏网络(Distilling the Knowledge in Neural Network)
Distilling the Knowledge in Neural NetworkGeoffrey Hinton, Oriol Vinyals, Jeff Deanpreprint arXiv:1503.02531, 2015NIPS 2014 Deep Learning Workshop简单总结主要工作(What)“蒸馏”(distillation):把大网络的知识压缩成小网...转载 2019-04-13 20:28:17 · 1651 阅读 · 0 评论 -
KD树详解
转载自:https://blog.csdn.net/xbmatrix/article/details/636836142.1、什么是KD树 Kd-树是K-dimension tree的缩写,是对数据点在k维空间(如二维(x,y),三维(x,y,z),k维(x1,y,z..))中划分的一种数据结构,主要应用于多维空间关键数据的搜索(如:范围搜索和最近邻搜索)。本质上说,Kd-树就是一种...转载 2019-05-17 10:05:45 · 9875 阅读 · 0 评论 -
Knn算法 kd树详解
转载自:https://cloud.tencent.com/developer/news/212042在之前关于knn算法的文章里曾提到,对特征空间进行划分的方法为计算新的输入实例与训练实例之间的距离,因为在特征空间中2个特征实例的相似程度可以用距离来表示。一般我们采用的是欧式距离,也就是说每个新的输入实例都需要与所有的训练实例计算一次距离并排序。当训练集非常大的时候,计算就非常耗时、耗...转载 2019-05-17 10:06:51 · 1123 阅读 · 1 评论 -
传统目标检测算法基本流程
传统目标检测算法基本流程首先给定一张待检测图片,然后对这张图片进行候选框的提取。候选框的提取通常采用滑动窗口的方法进行,接下来对每个窗口中的局部信息进行特征提取(通常采用一些经典的计算机视觉模式识别中的算法,包括:基于颜色、基于纹理、基于形状的方法,以及一些中层次或高层次语义特征的方法,这些方法有些是需要学习得到的。如:抽取基本的直方图特征,常见的纹理特征)计算机视觉中常见的特征提...原创 2019-06-27 18:49:13 · 16014 阅读 · 0 评论 -
GRU神经网络
转载自:https://blog.csdn.net/wangyangzhizhou/article/details/77332582GRU是什么GRU即Gated Recurrent Unit。前面说到为了克服RNN无法很好处理远距离依赖而提出了LSTM,而GRU则是LSTM的一个变体,当然LSTM还有有很多其他的变体。GRU保持了LSTM的效果同时又使结构更加简单,所以它也非常流行。...转载 2019-10-10 10:20:32 · 2056 阅读 · 0 评论 -
Deformable Convolutional Networks 可变形卷积
AbstractConvolutional neural networks (CNNs) are inherently limited to model geometric transformations due to the fixed geometric structures in their building modules. 卷积神经网络由于它内部固定的几何结构,所以对模型的几何变...原创 2019-04-11 19:46:40 · 348 阅读 · 0 评论 -
ROI Pooling代码原理详细解释和存在目的
ROIs Pooling顾名思义,是pooling层的一种,而且是针对ROIs的pooling;整个 ROI 的过程,就是将这些 proposal 抠出来的过程,得到大小统一的 feature map。什么是ROI呢?ROI是Region of interest的简写,指的是faster rcnn结构中,经过rpn层后,产生的proposal对应的box框。所以ROI就是指矩形框,往...转载 2019-04-11 10:09:27 · 1537 阅读 · 2 评论 -
RoI Pooling详解
目标检测architecture通常可以分为两个阶段:(1)region proposal:给定一张输入image找出objects可能存在的所有位置。这一阶段的输出应该是一系列object可能位置的bounding box。这些通常称之为region proposals或者 regions of interest(ROI),在这一过程中用到的方法是基于滑窗的方式和selective sear...转载 2019-04-11 09:23:15 · 7511 阅读 · 3 评论 -
最大似然估计
转载至:https://www.jianshu.com/p/f1d3906e4a3e最大似然估计是利用已知的样本的结果,在使用某个模型的基础上,反推最有可能导致这样结果的模型参数值。例子1:抽球举个通俗的例子:假设一个袋子装有白球与红球,比例未知,现在抽取10次(每次抽完都放回,保证事件独立性),假设抽到了7次白球和3次红球,在此数据样本条件下,可以采用最大似然估计法求解袋子中白球的比例(最大似然...转载 2018-07-09 13:03:52 · 178 阅读 · 0 评论 -
深度学习中的线性代数基础
本文主要总结一些在深度学习领域中比较重要的线性代数基础,过于基础的内容没有进行总结。一.张量(tensor):在深度学习领域,很多时候数据都是高于二维的,因此,需要一种能够表示任意维度的数据类型,这就是张量。二.范数(Norm):范数是数学中的一种基本概念,在泛函分析中,范数是一种定义在赋范线性空间中的函数,满足相应条件后的函数都可以被称为范数。下面主要介绍向量范数和矩阵范数并给出常用的几...原创 2018-07-31 15:21:26 · 1347 阅读 · 0 评论 -
总结全连接层,卷积层,池化层等。。各自的作用
全连接层到底什么用?来自链接:https://www.zhihu.com/question/41037974/answer/150522307全连接层(fully connected layers,FC)在整个卷积神经网络中起到“分类器”的作用。如果说卷积层、池化层和激活函数层等操作是将原始数据映射到隐层特征空间的话,全连接层则起到将学到的“分布式特征表示”映射到样本标记空间的作用。在实际使...转载 2018-08-31 08:54:54 · 59158 阅读 · 8 评论 -
查全率、查准率与F1
一开始接触查全率和查准率时遇到一个想不明白的地方:查准率和查全率是一对矛盾的度量。一般来说查准率高时,查全率往往偏低;反之同理。 可是为什么就不能两个都高呢?为了解决这个疑惑,决定还是记录一下原本感觉没必要记录的相关的知识。。。。。首先呢,举一个例子。在信息检索中,我们常常关心“检索出得信息中有多少比例是用户感兴趣的”“用户感兴趣的信息中有多少被检索出来了”。查准率(precision...原创 2019-03-08 15:06:18 · 5960 阅读 · 7 评论 -
训练集和测试集的划分方法
当我们只有一个包含m个样例的数据集D={(x1,y1),(x2,y2),...,(xm,ym)},既要训练又要测试,怎样才能做到呢?答案是对D进行适当的处理,从中产生出训练集S和测试集T,下面介绍几种常见的方法。(内容来自西瓜书)1.流出法留出法(hold-out)直接将数据集D划分为两个互斥的集合,其中一个集合作为训练集S,另一个作为测试集T。在S上训练出模型后,用T来评估其测试误差,...原创 2019-03-07 21:07:57 · 22234 阅读 · 2 评论 -
调参与最终模型
----------------------记录自西瓜书 大多数学习算法都有些参数需要设定,参数配置不同,学得模型的性能往往有显著差别。因此,在进行模型评估与选择时,除了要对适用学习算法进行选择,还需要对算法参数进行设定,这就是通常所说的“参数调节”。 我们可能马上就想到,调参和算法选择没什么本质区别:对每种参数配置都训练出模型,然后把对应最好模型的参数作为结果。这样的考虑基本时正确的...原创 2019-03-08 11:10:33 · 407 阅读 · 0 评论 -
机器学习中的线性模型
只挑了自己认为重要的简单的记录!!!1.基本形式线性模型形式简单、易于建模,但却蕴含着机器学习中一些重要的基本思想。许多功能强大的非线性模型可在线性模型的基础上通过引入层级结构或高维映射而得。此外,由于直观表达了各属性在预测中得重要性,因此线性模型有很好的可解释性。2.线性回归确定和b关键在于如何衡量f(x)和y之间的差别。均方误差是回归任务中最常用的性能度量,因此我们可以试...原创 2019-03-13 10:48:32 · 466 阅读 · 1 评论 -
深度学习中得Xaiver初始化
转载自:https://www.cnblogs.com/hejunlin1992/p/8723816.html“Xavier”初始化方法是一种很有效的神经网络初始化方法,方法来源于2010年的一篇论文《Understanding the difficulty of training deep feedforward neural networks》。 文章主要的目标...转载 2019-03-25 09:46:20 · 539 阅读 · 0 评论 -
详解决策树
本科人工智能和研究生的高级人工智能课中都学习到了决策树,现在再来根据西瓜书中的内容详细的总结一下。决策树1.基本流程决策树学习的目的是为了产生一颗泛化能力强,即处理未见示例能力强的决策树,其基本流程遵循简单且直观的“分而治之”策略:输入:训练集D={(x1,y1),(x2,y2),....,(xm,ym)}; 属性集A={a1,a2,....,ad}....原创 2019-03-18 16:50:37 · 229 阅读 · 0 评论 -
ReLu的理解
转载自:https://blog.csdn.net/qq_20909377/article/details/79133981ReLU上的花样CNN出现以来,感觉在各个地方,即便是非常小的地方都有点可以挖掘。比如ReLU。ReLU的有效性体现在两个方面:克服梯度消失的问题 加快训练速度而这两个方面是相辅相成的,因为克服了梯度消失问题,所以训练才会快。ReLU的起源,在这片博...转载 2019-03-26 16:17:25 · 1106 阅读 · 0 评论 -
在线深度学习:在数据流中实时学习深度神经网络
在线深度学习的主要困难是模型的容量、复杂度等设置很不灵活,即模型是静态的,而数据流是动态的。本论文提出了一种适应性的网络框架,结合 HBP 算法,使网络结构能随着数据的流入而逐渐扩展、复杂化。这使得模型同时拥有在线学习和深度学习的优点,并在多种在线学习模型和数据集的对比实验中都取得了当前最佳结果。近年来,我们见证了深度学习技术在很多应用中的巨大成功。学习深度神经网络面临着很多挑战,包括但不限...转载 2019-03-26 19:51:56 · 912 阅读 · 0 评论 -
深入理解Batch Normalization批标准化
转载自:https://www.cnblogs.com/guoyaohua/p/8724433.htmlBatch Normalization作为最近一年来DL的重要成果,已经广泛被证明其有效性和重要性。虽然有些细节处理还解释不清其理论原因,但是实践证明好用才是真的好,别忘了DL从Hinton对深层网络做Pre-Train开始就是一个经验领先于理论分析的偏经验的一门学问。本文是对论...转载 2019-03-27 10:28:58 · 166 阅读 · 0 评论 -
为什么CNN可以自动提取图像特征???
转载自:http://www.algorithmdog.com/cnn-extracts-feat?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io1.介绍在大部分传统机器学习场景里,我们先经过特征工程等方法得到特征表示,然后选用一个机器学习算法进行训练。在训练过程中,表示事物的特征是固...转载 2019-04-01 10:48:19 · 2353 阅读 · 0 评论 -
为什么CNN可以自动提取图像特征???(2)
作者:electech6来源:CSDN原文:https://blog.csdn.net/electech6/article/details/845847911.卷积操作假设有一个55的图像,使用一个33的卷积核(filter)进行卷积,得到一个3*3的矩阵(其实是Feature Map,后面会讲),如下所示:下面的动图清楚地展示了如何进行卷积操作(其实就是简单的点...转载 2019-04-01 10:52:33 · 1844 阅读 · 2 评论 -
逻辑回归(Logistic Regression)模型
转载自https://tech.meituan.com/intro_to_logistic_regression.html逻辑回归(Logistic Regression)是机器学习中的一种分类模型,由于算法的简单和高效,在实际中应用非常广泛。模型sigmoid 函数在介绍逻辑回归模型之前,我们先引入sigmoid函数,其数学形式是:g(x)=11+e−x对应的函数曲线如下图所示:从上图可以看到s...转载 2018-07-09 13:00:42 · 1132 阅读 · 0 评论