- 博客(29)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 【CV】什么是k-crop？（1-crop，10-crop）
今天在看Resnet论文的时候，看到Table 2 里有10-crop testing，因为不懂，所以查找资料。现对其进行总结：1-crop和10-crop顾名思义就是进行1次和10次裁剪。举个例子输入图像是256×256的，网络训练所需图像是224×224的。1-corp是从256×256图像中间位置裁一个224×224的图像进行训练，而10-corp是先从中间裁一个224×224的图像，然后从图像左上角开始，横着数224个像素，竖着数224个像素开始裁剪，同样的方法在右上，左下，右下各裁剪一次。
2020-12-29 16:27:04
1490
1
原创 【论文笔记】ResNet研读
写的比较好的文章https://zhuanlan.zhihu.com/p/42410305https://zhuanlan.zhihu.com/p/268308900https://zhuanlan.zhihu.com/p/28124810
2020-12-29 15:14:31
281
原创 【ML】决策树的构建（根据信息增益、增益率、基尼指数）
1. 决策树介绍决策树【Decision Tree，DT】是一类较为常见的「机器学习」方法，DT既可以作为分类算法，也可以作为回归算法。举个分类的例子：在相亲的时候，找对象的顺序应该是：Q：性别要求？A：不是女的不要。Q：年龄要求？A：大于我5岁的不要。Q：专业要求？A：非计算机专业的不要？…为了更好的表示上面的这些问题，我们将其画成一张树状图：上面的这棵树就是我们找对象的决策过程，圆角矩形代表了判断条件，椭圆代表了决策结果。通过性别、年龄和专业这几个属性，最终，得出最后的决策。
2020-12-28 14:15:01
1998
原创 【DL】什么是dropout
1. 什么是dropout 【随机失活】dropout是2012年深度学习视觉领域的开山之作paper：《ImageNet Classification with Deep Convolutional》【Alexnet】所提到的算法，用于防止过拟合。基本思想：dropout是指在深度学习网络训练的过程中，对于神经网络单元，按照一定的概率p将其暂时从网络中丢弃，对于随机梯度下降算法来说，由于是随机丢弃，所以每个mini-batch都在训练不同的网络。注：dropout效果跟bagging效果类似（
2020-12-23 10:27:14
1248
原创 【ML】什么是数据标准化和归一化？应用场景是什么？
最近在为找工作备战，看了很多博客，总结机器学习中一些基础的知识。什么是数据的标准化和归一化？在CSDN和知乎上有很多大佬做出了回答，看了有的人的回答，感觉会把自己气晕，完全是浪费时间并且误人子弟。...
2020-12-21 15:20:30
1976
原创 【Python】list和tuple的区别
1. list（列表）list是一种有序的集合，可以随时对集合进行添加、删除和插入操作。1.1. list中的元素，索引从0开始，0为第一个元素，当索引超出范围（本例索引大于5时，总共有6个元素，索引为0,1,2,3,4,5）会报错，索引不能越界，最后一个元素的索引是len(num)-11.2. 如果要取最后一个元素，除了计算索引位置，还可以用-1做索引直接取到最后一个元素（倒数第一）当然，取倒数第二个和倒数第三个索引分别为-2，-3，以此类推1.3. 使用append()可以在lis
2020-12-21 09:41:21
2640
原创 【ML】贝叶斯分类和朴素贝叶斯分类
一、介绍贝叶斯定理是英国数学家托马斯·贝叶斯提出的，为了解决一个“逆概率”问题。贝叶斯分类是一类分类算法的总称，这类算法均以贝叶斯定理为基础，故统称为贝叶斯分类。而朴素贝叶斯分类是贝叶斯分类中最简单，也是常见的一种分类方法。贝叶斯算法和决策树、SVM 一样，是分类算法。用来衡量标签和特征之间的概率关系，属于有监督学习算法。因为贝叶斯是基于概率论的算法，了解算法之前，需要了解概率论的几个概念：联合概率：A事件和B事件同时发生的概率，P(AB)或者P(A,B)、P(A∩B)条件概率：P(B|A):
2020-12-18 16:56:46
833
原创 【ML】什么是参数模型和非参数模型
第一次接触这个概念是在总结LR和SVM之间的区别的时候，LR是参数模型，SVM是非参数模型。今天来总结一下参数模型和非参数模型。一、前言参数模型(parametric model)和非参数模型(non-parametric model)作为数理统计学中的概念，现在也常用于机器学习领域。在统计学中，参数模型通常假设总体(样本、数据、随机变量)服从某个分布，这个分布可以由一些参数确定，如正态分布由均值(0)和方差(1)[此时，标准差也为1]确定，在此基础上构建的模型称为参数模型；非参数模型对于总体的数
2020-12-18 11:20:11
4112
2
原创 【ML】LR和SVM的联系和区别
参考https://mp.weixin.qq.com/s/ZaJLftMDnOG4TGmkQ8Hjgwhttps://mp.weixin.qq.com/s/zc8Qk0FCSOJvX2QvfsK8kghttps://mp.weixin.qq.com/s/I6xbn8gy0e8yA0pwu4SlMwhttps://mp.weixin.qq.com/s/WUeAaXKjiPXnhTHhC2eBSQ
2020-12-17 18:14:22
338
原创 【ML】线性分类器和非线性分类器的区别
Q：什么是分类器？A：就是用来把输入的数据进行分类的模型（本质上是函数）。图1，黑色的曲线就是非线性分类器。以曲线的形式分类了红点和蓝点。图2，黑色的直线就是线性分类器。以直线的形式分类红点和蓝点。一、线性分类器以上图的二分类（红点和蓝点）为例：线性分类器就是用一个“超平面”将两个样本隔离开，如：（1）二维平面上的两个样本用一条直线来进行分类；（2）三维立体空间内的两个样本用一个平面来进行分类(如下图)；（3）N维空间内的两个样本用一个超平面来进行分类。常见的线性分类器有：LR，贝叶
2020-12-17 17:08:30
2733
原创 【CV】什么是注意力机制
注意力机制（Attention Mechanism）是机器学习中的一种数据处理方法，广泛应用在自然语言处理、图像识别及语音识别等各种不同类型的机器学习任务中。一、注意力机制为什么有必要存在？我们不难发现，注意力这个词本来是属于人类才有的动作。也就是说，注意力机制可以看做是一种仿生，是机器通过对人类阅读、听说中的注意力行为进行模拟。那为何要对注意力进行仿生呢？按理说，计算机理应拥有无限的记忆力和注意力，这不是一件好事么？为什么我们特意对计算机进行“劣化”来模拟这一项机制呢？这是因为，人脑在进行阅读任
2020-12-17 10:43:04
1192
原创 【CV】当输入图像尺寸变为 2 倍，CNN 的参数数量变为几倍？为什么？
对于面试者来说，这是一个非常误导人的问题，因为大多数人会把注意力放在 CNN 参数的数量会增加多少倍的问题上。然而，让我们来看看 CNN 的架构：我们可以看到，CNN 模型的参数数量取决于滤波器的数量和大小，而不是输入图像。因此，将图像的大小加倍并不会改变模型的参数数量。参考https://mp.weixin.qq.com/s/L-hF2OIcV9kbzOavjBhMqw[12 个不容错过的深度学习面试题]...
2020-12-17 09:59:20
997
原创 【ML】超参数搜索的方法
网格搜索：在所有候选的参数选择中，通过循环遍历，尝试每一种可能性，表现最好的参数就是最终的结果贝叶斯优化：贝叶斯优化其实就是在函数方程不知的情况下根据已有的采样点预估函数最大值的一个算法。该算法假设函数符合高斯过程(GP)随机搜索：已经发现，简单地对参数设置进行固定次数的随机搜索，比在穷举搜索中的高维空间更有效。这是因为事实证明，一些超参数不通过特征变换的方式把低维空间转换到高维空间，而在低维空间不可分的数据，到高维空间中线性可分的几率会高一些。具体方法：核函数，如：高斯核，多项式核等等。基于梯度：.
2020-12-16 13:35:46
565
2
原创 【ML】线性回归和逻辑回归的联系和区别
一、线性回归和逻辑回归线性回归解决的是回归问题，逻辑回归相当于是线性回归的基础上，来解决分类问题。线性回归(Linear Regression)：逻辑回归：从上面两个公式：逻辑回归可以理解为在线性回归后加了一个sigmoid函数。将线性回归变成一个0~1输出的分类问题。二、sigmoidsigmoid函数就是：函数图像是：线性回归得到大于0的输出，逻辑回归就会得到0.5 ~ 1的输出；线性回归得到小于0的输出，逻辑回归就会得到0 ~ 0.5的输出；三、总结联系：逻辑回归可以理解
2020-12-16 10:31:40
33980
2
原创 【CV】常用 Normalization 方法的总结与思考：BN、LN、IN、GN、BGN
批处理归一化(BN)是早期提出的一种归一化方法，也是应用最为广泛的方法。BN利用计算出的均值和方差对特征图进行归一化，再对归一化后的特征图进行重新缩放和移位，以保证DCNN（深度卷积神经网络）的表征能力。同时，在BN的基础上，提出了许多其他任务的归一化方法。目前在深度学习中常用的Normalization如下：Batch Normalization（BN，2015年）Layer Normalization（LN，2016年）Instance Normalization（IN，2017年）Grou
2020-12-15 14:00:36
1400
原创 【CV】BN（Batch Normalization）的原理与使用【原作者和后期推翻】
Q：神经网络在开始训练之前，为啥要对数据做Normalization？A： 神经网络学习过程的本质是为了学习数据的分布，一方面，训练集train set和测试集test set的分布不同，网络的泛化能力则大大降低；另一方面，在梯度下降训练过程中，每批的数据分布不相同，网络就要在每次迭代的时候去学习以适应不同的分布，这样训练速度会大大降低。这就是为什么要对数据进行Normalization。【BN不是拍脑子想出来的点子，BN的来源：研究表明，图像处理中进行白化（对输入input数据分布变换到 0均值，单位
2020-12-15 10:36:08
1511
原创 【Linux】linux下查找文件个数
今天在某客上看到一份面经，里面有这样一道试题：Q：linux下怎么查找文件个数？【统计文件的个数】第一眼看到这个问题，我真不知道具体的命令是什么，我的第一反应是，在某个目录下，输入 ls 命令，然后进行"人工count"，哈哈，这个我想在当文件比较少的情况下，应该是可以实现的。。。但是当文件或者文件夹比较多的时候，这种办法就是愚蠢的。。。好了，不啰嗦了，下面进行总结。问题一：在某个目录下，统计该目录下文件夹的个数【不包含其他文件夹的子文件夹】（i.e. 文件夹中，子文件夹的个数【只计算文件夹个数，其
2020-12-14 17:20:47
874
原创 【ML】L1和L2正则化的区别
一、正则化的作用（功能）正则项的作用：降低模型过拟合的风险，通常常用的有L1范数正则化与L2范数正则化，作为单独一项（正则项）加入到损失函数中，也可以自己作为损失函数。总结：L1和L2正则化项，又叫惩罚项，是为了限制模型的参数，防止模型过拟合而加在损失函数后面的一项。二、L1和L2范数在https://www.kaggle.com/residentmario/l1-norms-versus-l2-norms：简单来说也就是范数其实在 [0,+∞)范围内的值，是向量的投影大小，在机器学习中一般会勇
2020-12-14 15:09:44
1025
原创 【DL】常见优化算法的优缺点
图：来源于网络。一、什么是优化算法模型内部有些参数，是用来计算测试集的真实值和预测值的偏差程度，基于这些参数，就形成了损失函数L(x)。我们需要通过优化算法来优化损失函数L(x)，使其最小化（或最大化）。比如说，权重(W)和偏差(b)就是这样的模型内部参数，通过优化算法来更新W和b，使得损失达到最小，参数逼近或达到最优值。二、优化算法分为两大类2.1. 一阶优化算法这种算法使用各个参数的梯度值来最小化(或最大化)损失函数L(x)。最常用的一阶优化算法是梯度下降。函数梯度：导数dydx\..
2020-12-11 18:20:44
5696
原创 【CV】说一下U-Net，为什么U-Net在医学图像上表现优越
一、前言截止到2020.12.10.17:01：56 从谷歌学术上查询到U-Net被引用次数为206192015年发表U-Net的MICCAI，是目前医学图像分析领域最顶级的国际会议。该论文第一单位是德国的费莱堡大学。二、U-Net结构看到这个结构的第一眼，感觉很优美，不过也很复杂，里面有很多细节问题需要深入了解，实际上，把U-Net进行简化，可以用下图表示：从上图中可以看到，简化之后的U-Net的关键点有三条线：下采样编码上采样解码跳跃连接下采样进行信息浓缩和上采样进行像素
2020-12-10 17:24:19
718
原创 【CV】数据增强有哪些方法
今天，我们介绍一下关于计算机视觉领域数据增强的一些常用的方法。一、前言1. 为什么需要数据增强一般而言，比较成功的神经网络需要大量的参数，许许多多的神经网路的参数都是数以百万计，而使得这些参数可以正确工作则需要大量的数据进行训练，而实际情况中数据并没有我们想象中的那么多2. 数据增强的作用) 增加训练的数据量，提高模型的泛化能力) 增加噪声数据，提升模型的鲁棒性3. 如何获得大量的数据) 第一种方法是获得新的数据，这种方法比较麻烦，需要大量的成本，) 第二种方法则是对数据进行增强，即
2020-12-09 14:22:09
1716
1
原创 【CV】深度学习中的卷积类型
1. 一维(1 D)卷积最简单的卷积是一维卷积，通常用于序列数据集(但也可以用于其他用例)。它们可以用于从输入序列中提取局部1D子序列，并在卷积窗口内识别局部模式。下图展示了如何将一维卷积滤波器应用于序列以获得新的特征。1D卷积的其他常见用法出现在NLP领域，其中每个句子都表示为单词序列。图中的输入的数据维度为10，滤波器的维度为2，步长为1，输出维度为：10 - 3 + 1 = 8注：以上只是简单举例，如果滤波器的数量增加（过滤器数量为n），那么输出的数据维度就变为8×n。一维卷积常用于序列模型
2020-12-08 17:45:13
671
原创 【ML】什么是判别模型和生成模型
1. 判别模型和生成模型所属范畴2. 直观理解【判别模型】：要确定一张图片是猫还是狗，用判别模型的方法就是根据数据集X训练模型，然后把新的图片输入到模型中，模型给出这个图片是每个类别的概率。【生成模型】：生成模型是对原始数据集X和其标签Y建模，生成其联合概率。然后将新的图片放入是否是猫的模型中，看概率是多少；然后将新的图片放入是否是狗的模型中，看概率是多少。（联合概率：联合概率是指在多元的概率分布中多个随机变量分别满足各自条件的概率。假设X和Y都服从正态分布，那么P{X<4,Y<0}就
2020-12-08 14:30:29
1494
原创 【CV】常用的损失函数
1. 前言在总结常用的损失函数之前，我们来先回顾一下损失函数（Loss Function）、代价函数（Cost Function）和目标函数（Objective Function）的区别和联系。在机器学习的语境下，这三个术语经常被交叉使用。1.1. 区别损失函数（Loss Function）通常是针对单个训练样本而言，给定一个模型 f 输出值y^i和一个真实值yi,损失函数输出一个实值损失：代价函数（Cost Function）通常是针对整个训练集（或者在使用mini-batch grad
2020-12-03 20:14:08
1763
原创 【Active Learning】主动学习--初次接触
一个同行撰写的：主动学习入门篇：如何能够显著地减少标注代价https://developer.aliyun.com/article/773272该同行的博客地址（内含微信公众号，知乎地址，个人微信）：https://blog.csdn.net/Houchaoqun_XMU人工智能产业研究院发布的人工智能之机器学习篇——主动学习https://baijiahao.baidu.com/s?id=1593292718668537368&wfr=spider&for=pc一篇不错的博
2020-12-03 14:40:11
226
人脸表情识别数据集-图像分类数据集
2024-03-14
California房价预测数据集-机器学习-回归模型
2024-03-13
Boston房价数据集
2022-12-09
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人