计算机视觉
文章平均质量分 87
作为初学者,介绍一些机器学习,计算机视觉,深度学习相关内容。
四月晴
这个作者很懒,什么都没留下…
展开
-
[paper] Inception v2/v3
Inception v2/v3论文题目 Rethinking the Inception Architecture for Computer Vision原创 2018-09-14 17:22:16 · 551 阅读 · 0 评论 -
[paper] Dropout
DropoutAbstract过拟合是指在训练集上表现很好,但是在测试集上表现不好Overfitting can be reduced by using “dropout” to prevent complex co-adaptations on the training data.可以通过使用dropout来避免在训练集上co-adaptations以减少过拟合On each pres...原创 2018-09-17 23:39:48 · 268 阅读 · 0 评论 -
[paper] InceptionV1
Going deeper with convolutions2014年,GoogLeNet和VGG获得了当年(ILSVRC14)的前两名。VGG主要是在AlexNet的基础上对网络进行改进,而GoogLeNet则是尝试了新的网络结构,深度只有22层,参数也少了很多。相比与之前看过的论文不同的是Going deeper with convolutions不仅考虑了准确率之类的数据评估尺度,更...原创 2018-08-27 00:26:42 · 434 阅读 · 0 评论 -
[paper] MTCNN
MTCNN (Joint Face Detection and Alignment using Multi-task Cascaded Convolutional Networks)原创 2018-08-30 19:03:05 · 1748 阅读 · 0 评论 -
[paper] InsightFace
InsightFace论文地址:https://arxiv.org/abs/1801.07698 项目地址:https://github.com/deepinsight/insightface创新点提出了一个新的损失函数(ArcFace),有更好的几何解释性 对于一些公开数据集的二次处理,并将处理后的数据公开评测了不同网络结构的效果和性能损失函数基于欧式距离的损...原创 2018-08-31 16:36:51 · 4802 阅读 · 1 评论 -
[paper] Batch Normalization
Batch Normalization:Accelerating Deep Network Training by Reducing Internal Covariate Shift论文地址:https://arxiv.org/abs/1502.03167原创 2018-09-05 10:22:59 · 368 阅读 · 0 评论 -
[paper] Layer Normalization
Layer NormalizationAbstract目前效果最好的深度学习网络计算代价昂贵。减少训练时间的方法之一是规范化神经元的激活。Batch Normalization 使用了这一思路,用mini-batch的均值和方差来规范化,这极大的减少了训练时间但是,BN的效果在很大程度上依赖于mini-batch size的大小,并且不能应用到RNN上面在这篇文章,我们用Layer...原创 2018-09-12 23:40:44 · 3279 阅读 · 0 评论 -
[深度学习] 避免过拟合的方法
首先说一下什么叫做过拟合? 如上图所示,拟合的参数“完美”学习到了我们给出数据,生成的模型可以完全经过所有数据。但是这样的表现却只是在训练集,在测试集表现不好。而我们所需要的是具有更好泛化能力的黑色直线。正则化L2L2L_2正则化: C=C0+λ2nωTωC=C0+λ2nωTωC =C_0 +\frac{\lambda }{2n} \omega^T\omega C0C0C_0代表...原创 2018-07-10 22:14:32 · 424 阅读 · 0 评论 -
[深度学习] Relu层作用
为什么引入非线性激励函数 如果不用激励函数,在这种情况下你每一层输出都是上层输入的线性函数,很容易验证,无论你有多少层神经网络,输出的都是输入的线性组合。 所以我们引入非线性函数作为激励函数。这样深层神经网络就有意义了,不再是输入的线性组合,可以逼近任意函数。最早使用的是sigmoid函数或者tanh函数,输出有界,很容易充当下一层的输入。为什么引入Relu呢 第一,采用sigmoid函...原创 2018-07-12 16:12:53 · 39785 阅读 · 5 评论 -
[深度学习] 池化层
转载自:https://blog.csdn.net/l691899397/article/details/52250190池化层的输入一般来源于上一个卷积层,主要的作用是提供了很强的鲁棒性。(例如max-pooling是取一小块区域中的最大值,此时若此区域中的其他值略有变化,或者图像稍有平移,pooling后的结果仍不变),并且减少了参数的数量,防止过拟合现象的发生。池化层一般没有参数,所以反...转载 2018-07-15 22:17:50 · 10571 阅读 · 0 评论 -
[深度学习] 反向传播推导
反向传播推导反向传播是一种利用链式求导法则求梯度的方法,理解这个过程对于学习深度学习是十分重要的。之前一直只是理解基本的概念,下面详细说明具体的理论并具体推导。基本求导f(x,y)=xy∂f∂x=y∂f∂y=xf(x,y)=xy∂f∂x=y∂f∂y=xf(x, y) = xy \quad \frac{\partial f}{\partial x } = y \quad \frac{\p...原创 2018-08-16 21:31:30 · 428 阅读 · 0 评论 -
[深度学习] 线性分类
线性分类线性分类是用权重W去计算一张图片属于不同分类的分数。下图中假设对猫的每个像素点提取出来,排成一列,记为X。用权重W去乘以X并且加上bias,最后得到的分数是对于这张图片属于哪个分类的预测。 线性分类的解释线性分类在几何上的解释 当我们对权重W中的一行进行改变,那么对应的分类平面会在不同的方向进行旋转。线性分类作为一个模版(template)进行匹配 另外一...原创 2018-08-24 00:16:36 · 1090 阅读 · 0 评论 -
[机器学习] 支持向量机1——间隔和支持向量
间隔和支持向量给定训练样本集D={(x1,y1),(x2,y2),...,(xm,ym)},yi∈{−1,+1}{(x1,y1),(x2,y2),...,(xm,ym)},yi∈{−1,+1}\left\{(x_1, y_1),(x_2,y_2),...,(x_m, y_m)\right\},y_i∈\left\{-1, +1\right\}。分类学习最基本的思想就是基于训练集D在样本空间中找...原创 2018-06-02 11:13:59 · 1357 阅读 · 0 评论 -
[机器学习] 支持向量机2——对偶问题
上一篇请戳支持向量机2在上一篇中,我们由于要最大化间隔故推导出最终要处理的公式为 minω,b12||ω||2yi(ωTxi+b)>=1,i=1,2,3...m.(2.1)(2.1)minω,b12||ω||2yi(ωTxi+b)>=1,i=1,2,3...m.原创 2018-06-06 10:17:40 · 1628 阅读 · 0 评论 -
[机器学习]支持向量机4——SMO算法
支持向量机1——间隔和支持向量 支持向量机2——对偶问题原创 2018-06-07 12:49:31 · 4136 阅读 · 0 评论 -
[机器学习]支持向量机3——引入松弛因子
很多情况下,一个分离超平面并不能完全将训练数据分成两部分。那么我们这是可以允许出现一些误差。故引入松弛因子。 参考资料1.https://blog.csdn.net/luoshixian099/article/details/51073885#comments...转载 2018-06-14 20:56:13 · 2146 阅读 · 1 评论 -
《机器学习实战》第五章梯度上升算法的直观理解
原文请点击简单描述问题给定一个样本集,每个样本点有两个维度值(X1,X2)和一个类别值,类别只有两类,我们以0和1代表。数据如下所示: 样本 X1 X2 类别 1 -1.4 4.7 1 2 -2.5 6.9 0 … … … …机器学习的任务是找一个函数,给定一个数据两个维度的值,该函数能够预测其...转载 2018-05-30 10:04:29 · 520 阅读 · 0 评论 -
[机器学习] 逻辑回归
原文请戳简介逻辑回归是面试当中非常喜欢问到的一个机器学习算法,因为表面上看逻辑回归形式上很简单,很好掌握,但是一问起来就容易懵逼。所以在面试的时候给大家的第一个建议不要说自己精通逻辑回归,非常容易被问倒,从而减分。下面总结了一些平常我在作为面试官面试别人和被别人面试的时候,经常遇到的一些问题。正式介绍如何凸显你是一个对逻辑回归已经非常了解的人呢。那就是用一句话概括它!逻辑回...转载 2018-05-30 13:22:26 · 461 阅读 · 1 评论 -
[机器学习] 逻辑回归2——多分类问题和过拟合问题
补充点上一篇博客没有提到的知识点多分类学习现实生活中常遇到很多多分类学习任务,有些二分类学习方法可以直接推广到多分类,但在现实更多情形下,我们是基于一些策略,利用二分类学习器来解决多分类问题。利用二分类学习器进行的多分类学习可以分为三种策略:一对一 (One vs One)一对其余 (One vs Rest)多对多 (Many vs Many)一对一 (One vs...原创 2018-05-31 13:07:14 · 9517 阅读 · 0 评论 -
[机器学习] 矩阵求导最小二乘问题
原文请点击 关于最小二乘问题的求解,之前已有梯度下降法,还有比较快速的牛顿迭代。今天来介绍一种方法,是基于矩阵求导来计算的,它的计算方式更加简洁高效,不需要大量迭代,只需解一个正规方程组。在开始之前,首先来认识一个概念和一些用到的定理。矩阵的迹定义如下:一个 n*n 的矩阵的迹是指的主对角线上各元素的总和,记作tr(A)tr(A)tr(A)。即 tr(A)=∑i=1naiitr(A)=...转载 2018-05-28 14:01:33 · 1611 阅读 · 1 评论 -
[深度学习] 损失函数
深度学习中损失函数是整个网络模型的“指挥棒”, 通过对预测样本和真实样本标记产生的误差反向传播指导网络参数学习。分类任务的损失函数假设某分类任务共有N个训练样本,针对网络最后分层第 i 个样本的输入特征为 XiXiX_i ,其对应的标记为YiYiY_i是最终的分类结果(C个分类结果中的一个),h=(h1,h2,...,hch1,h2,...,hch_1, h_2,...,h_c)为网络的最...原创 2018-05-29 10:19:04 · 13784 阅读 · 0 评论 -
[深度学习] 激活函数
激活函数激活函数又称“非线性映射函数”,是深度卷积神经网络中不可或缺的模块。可以说,深度网络模型强大的表示能力大部分便是由激活函数的非线性单元带来的。这部分共介绍7个激活函数:Sigmoid函数,tanh函数,Relu函数,Leaky Relu函数,参数化Relu,随机化Relu和指数化线性单元(ELU)。Sigmoid型函数sigmoid函数也称Logistic函数:σ(x)...原创 2018-05-28 11:53:25 · 2637 阅读 · 0 评论 -
[机器学习] 贝叶斯分类器2
贝叶斯的先导知识,请戳贝叶斯分类器2贝叶斯决策论贝叶斯决策论是根据我们已知的一些概率信息和误判的损失来选择最优的类别。什么是已知的概率信息? 举一个贝叶斯先导知识里的例子:设有外形完全相同的两个箱子,甲箱中有99个白球和一个黑球,乙箱有99黑球和一个白球。今随机抽取一箱,并从中随机抽取一球,结果取得白球,问这球是从哪个箱子中取出的? 那么甲箱中抽取白球的概率99%,乙箱中...原创 2018-05-27 17:02:58 · 444 阅读 · 0 评论 -
[机器学习] 贝叶斯分类器1
基于概率论的分类方法:朴素贝叶斯条件概率所谓条件概率,它是指某事件B发生的条件下,求另一事件A的概率,记为P(A|B)P(A|B)P(A|B),它与P(A)P(A)P(A)是不同的两类概率。举例: 考察有两个小孩的家庭, 其样本空间为Ω=[bb,bg,gb,gg]Ω=[bb,bg,gb,gg]\Omega = {[bb, bg, gb, gg]}, 其中b 代表男孩,g代表女孩,b...原创 2018-05-23 11:20:01 · 610 阅读 · 0 评论 -
[机器学习] 决策树1
决策树(decision tree)决策树就是用树状结构来进行分类的一种机器学习算法,是有监督学习的一种。决策树的构造优点:计算法复杂度不高,输出结果易于理解,对中间值的缺失不敏感,可以处理不相关特征数据。缺点:可能产生过度匹配问题适用数据类型: 数值型(数值型目标变量则可以从无限的数值集合中取值,如0.100,42.001等 (数值型目标变量主要用于回归分析)) 标称型(...原创 2018-05-19 19:15:16 · 336 阅读 · 0 评论 -
[机器学习] 决策树2
决策树接着上篇文章决策树1基尼指数CART(classification and regression tree)决策树使用“基尼指数”来选择划分属性,数据集的纯度此时用基尼值来度量:Gini(D)=∑γk=1∑k′!=kpkp′kGini(D)=∑k=1γ∑k′!=kpkpk′Gini(D) = \sum_{k=1}^{\gamma}{\sum_{k' != k }}{p_kp_...原创 2018-05-21 14:02:27 · 307 阅读 · 0 评论 -
[深度学习] 数据预处理
输入归一化在图像处理中,图像的每一个像素信息同样可以看作一种特征。在实践中,对每个特征减去平均值来中心化数据是非常重要的。这种归一化处理的方式被称为“中心式归一化。卷积神经网络中的数据预处理通常是计算训练集图像像素均值,之后再处理训练集,验证集和测试图像使需要分别减去该均值。我们默认自然图像是一类平稳的数据分布(即数据的每一个维度的统计都服从相同分布),此时,在每个样本上减去数据的统计平均值可...原创 2018-05-20 19:18:37 · 1553 阅读 · 0 评论 -
[深度学习] 网络参数初始化
网络参数初始化神经网络模型一般依靠随机梯度下降进行模型训练和参数更新,网络的最终性能与收敛得到的最优解直接相关,而收敛结果实际上又很大程度取决于网络参数的最开始的初始化。理想的网络参数初始化使模型训练事半功倍,相反,糟糕的初始化方案不仅会影响网络收敛,甚至会导致梯度弥散或爆炸。网络初始化的方案全零初始化当网络达到稳定状态时, 参数(权值)在理想情况下应该保持正负各半(此时期望为0)...原创 2018-05-20 19:46:48 · 5265 阅读 · 0 评论 -
[深度学习] 模型集成方法
模型集成方法集成学习(ensemble learning)是机器学习中一类学习算法,值训练多个学习器并将它们组合起来使用的方法。这类算法通常在实践中会取得比单个学习器更好的预测结果。数据层面的集成方法在训练阶段的数据扩充在测试阶段仍然使用。 诸如图像多尺度, 随机扣取等。以随机扣取为例, 对某张测试图片可得到n 张随机扣取图像,测试阶段只需要用训练好的深度网络模型对n张图分别做预测...原创 2018-05-16 11:47:57 · 8571 阅读 · 4 评论 -
[机器学习] K近邻算法
K近邻算法 (KNN)KNN 的原理存在一个样本数据集合,也称作训练样本集,并且样本集中每个数据都存在标签, 即我们知道样本集中每一数据与所属分类的对应关系。 输入没有标签的新数据之后 (测试集), 将新数据的每个特征与样本集中数据对应的特征进行比较, 然后算法提取样本集中特征最相近(最近邻)的分类标签。 一般来说, 我们只选择样本数据集中前k个最相近的数据, 这就是k-近邻算法中k的出处...原创 2018-05-17 10:31:12 · 363 阅读 · 1 评论 -
[深度学习] 深度学习基本网络结构
当初写这篇博客时候是写在石墨上作为个人的笔记所用,所以很多摘抄,参考别人博客并没有记录下原本的地址,如有侵权,请联系,我们立即删除AlexNet这幅图片是AlexNet的模型。文章发表的时候是2012年,当时的GPU是 GTX580,所以使用了两块GPU,但是目前的硬件水平使用一块GPU就足够了。 图片: AlexNet 共有8层。其中前五层为卷积层,后三层为全连接层。最后一个全连...原创 2018-04-26 13:17:18 · 8339 阅读 · 0 评论 -
[深度学习] 不平衡样本的处理
不平衡样本的处理机器学习中经典假设中往往假定训练样本各类别是同等数量即各类样本数目是均衡的,但是真实场景中遇到的实际问题却常常不符合这个假设。一般来说,不平衡样本会导致训练模型侧重样本数目较多的类别,而“轻视”样本数目较少类别,这样模型在测试数据上的泛化能力就会受到影响。一个例子,训练集中有99个正例样本,1个负例样本。在不考虑样本不平衡的很多情况下,学习算法会使分类器放弃负例预测,因为把所有...原创 2018-05-15 10:55:59 · 28070 阅读 · 4 评论 -
期望, 方差, 协方差,标准差
期望, 方差, 协方差,标准差期望概率论中描述一个随机事件中的随机变量的平均值的大小可以用数学期望这个概念,数学期望的定义是实验中可能的结果的概率乘以其结果的总和。定义设P(x) 是一个离散概率分布,自变量的取值范围为{x1,x2,...,xnx1,x2,...,xnx_1, x_2,..., x_n}。其期望被定义为: E(x)=∑k=1nxkP(xk)E(x)=∑...原创 2018-05-14 15:03:12 · 59791 阅读 · 3 评论 -
[深度学习] 超参数设定和网络训练
超参数设定和网络训练介绍一些重要的网络设计过程中的超参数设定技巧和训练技巧,如学习率,批规范化操作和网络优化化策略的选择。网络超参数的设定网络超参数设定在搭建整个网络架构之前,需首先指定与网络结构相关的各项超参数:输入图像像素,卷积层个数,卷积核相关参数。输入数据像素大小使用卷积神经网络处理图像问题时,对不同输入图像为得到同规格输出,同时便于GPU运行,会将图像压缩到22222...原创 2018-05-12 17:59:43 · 20184 阅读 · 0 评论 -
[深度学习] 网络正则化
机器学习的核心问题是如何使学习算法不仅在训练样本上表现良好,而且在新数据上或测试集上同时奏效,学习算法在新数据上的这样一种表现我们称之为模型的泛化能力。如果一个学习算法在训练集表现优异,同时在测试集依然工作良好,可以说该学习算法有较强的泛化能力。若某算法在训练集表现优异,但是测试集却非常糟糕,我们说这样的学习并没有泛化能力,这种现象也叫做过拟合(overfitting)。 如何避免过拟合?我们可...原创 2018-05-11 11:16:25 · 3477 阅读 · 0 评论