深度学习
深度学习
嘻哈吼嘿呵
这个作者很懒,什么都没留下…
展开
-
十四、AI学习笔记|人脸识别
1、人脸识别概述 人脸验证:给定一个人脸和它对应的ID,让系统来判断这个人是否就是这个ID对应的人。如手机的人脸解锁功能、火车站的进站闸口。 人脸识别:就是随便给定一个人,然后给出这个人的相关信息。 活体检测:防止别人用你的一张照片来欺骗摄像头,检测摄像头前的是否是活人。 2、差异性验证公司内部的人脸打卡系统和人脸门禁系统如何实现?(1)第一种方案使用公司员工相片作为数据集,训练一个CNN神经网络,当输入相片到CNN时,输出对应数据库中的哪一个人。缺点 公原创 2020-06-14 19:07:47 · 244 阅读 · 0 评论 -
十三、AI学习笔记|物体探测(二)
1、YOLO探测法滑动窗口弹测法:计算量大。卷积化的滑动窗口:不够精准,原因:一个物体可能同时存在于多个滑动窗口中。YOLO探测法设100x100的图像如下,划分成3x3的9个小格子在制作数据集时,需要对每个小格子制作对应的y标签,设y标签如下(假设只考虑一个格子中只有一个物体):每个小格子对应8个元素,则上图最终形成的标签维度为3x3x8注意: 在对每个格子打标签时,y标签内的坐标按照以下标准:格子左上角为原点(0,0),右下角为(1,1)点。 物体的宽原创 2020-06-13 20:06:17 · 219 阅读 · 0 评论 -
十二、AI学习笔记|物体探测(一)
test原创 2020-06-13 17:32:34 · 240 阅读 · 0 评论 -
十一、AI学习笔记|Inception网络
1、 1x1卷积也称为网中网如下,输入一个 6x6 的 矩阵,过滤器是 1x1 的,则相当于每个元素简单的乘以了 2。作用池化层可以改变矩阵的大小,1x1 卷积则可以改变矩阵的深度。有些人虽然使用了 1x1 卷积核,但是却不改变输出矩阵的深度,他们的目的不是为了减少计算量,而是为了增加网络的复杂度,因为增加了一层 1x1 卷积,就相当于多了一层激活函数。2、Inception网络在设计卷积层的时候,经常会犯选择困难症,到底是用 1x1 的卷积核?还是用 3x3 的卷积核.原创 2020-06-07 19:53:59 · 189 阅读 · 0 评论 -
十、AI学习笔记|残差网络ResNet
1、残差网络由于梯度爆炸和梯度消失的问题,导致越深的神经网络越难训练好,所以即使有足够的计算力和数据,也难以得到很深很深的优秀神经网络。残差网络:使用跳跃连接,用它来讲前面的激活值跳过中间的网络层,而直接传递到更后面的网络层去,由此来避免梯度爆炸和梯度消失。使用此种跳跃连接构建出来的网络,称之为残差网络。残差网络由一个个的残差块组成的。(1)残差块:如下两个神经网络层如果发生梯度爆炸(梯度消失),激活值会越来越大(越来越小),为了解决这种问题,可以将的公式变成,将跳到了后面的原创 2020-06-07 18:57:03 · 415 阅读 · 0 评论 -
九、Ai学习笔记|VGG
卷积层VGG的每一个卷积层使用的都是 3x3的卷积层,步长都是1,而且都是 same层(即卷积后,通过padding,使得矩阵的大小不变)池化层每一个池化层步长都是2,并且大小为 2x2[CONV 64]x2 便是两个卷积层,每个卷积层 64 个过滤器AlexNet 被用来识别 1000分类因为有 16 个带参数的神经网络,13个卷积层,3个全连接层,池化层不被计算在内,所欲被叫做 VGG16...原创 2020-06-06 19:42:25 · 554 阅读 · 0 评论 -
八、AI学习笔记|AlexNet
网络的输入数据是彩色图像AlexNet使用的是relu函数原创 2020-06-06 19:35:22 · 154 阅读 · 0 评论 -
七、AI学习笔记|LeNet-5
起初被用于10分类识别原创 2020-06-06 19:27:49 · 124 阅读 · 0 评论 -
六、AI学习笔记|智能视觉|卷积神经网络
目录1、智能视觉2、卷积运算3、边缘检测4、Padding5、卷积运算后的矩阵大小6、3D卷积7、池化层8、卷积的好处1、智能视觉图像识别目标检测风格转换:输入一张图片,输出不同风格的版本问题:神经网络的输入特征会比较大,可能会出现过拟合、对计算力的要求较高2、卷积运算假设有一张6x6x1的图片有一个卷积核(也可以叫过滤器):过滤器的维度一般都是奇数的:如 1x1、 3x3、 5x5、 7x7用*代表卷积运算,结果将得到一个 .原创 2020-06-06 19:17:05 · 277 阅读 · 0 评论 -
五、AI学习笔记|项目实战优化二
1、手工分析错误若AI系统没有达到人类水平,可以通过人为的对错误分析,知道系统应该朝哪个方向去提升。假如有一种情况:在识别猫的系统中,系统将很像猫的狗识别成了猫。从验证集中取出100张识别错误的图片,任务取识别猫和狗的数量。如果狗的数量=5,则不能识别的图像中狗只占5%,占比不多,即使将所有的狗都识别正确,系统的准确率也只会提高5%。如果狗的数量=50,占比很大,则应该去提升对狗的识别度。可以同时分析多个错误类别。2、错误标签训练集中的错误标签对神经网络的影响微乎其微,因为他们在原创 2020-05-31 17:21:06 · 154 阅读 · 0 评论 -
四、AI学习笔记|项目实战优化一
1、正交化原创 2020-05-30 19:51:56 · 140 阅读 · 0 评论 -
三、AI学习笔记|神经网络调试
1、常调节的超参数 学习率 动量梯度下降中的 k 每层的神经元个数 n 子训练集 mini-batch 的大小 神经网络层数 L 学习率控制衰减超参数 decayRate 2、调节方法网格搜索法:效率很低,不推荐使用随机搜索法:在合理的取值范围之内,随机选取一些点。可以尝试更多不同的超参数值,先寻找到大概适合的值,将参数确定在该点的周围区域,然后进行更精密的搜索3、采样标尺随机搜索可以叫做随机采样,或者随机均匀采样。假如取值原创 2020-05-30 17:11:13 · 198 阅读 · 0 评论 -
二、AI学习笔记|优化算法
1、mini-batch在实际项目中,训练集很庞大,一次性加载不仅硬件无法满足,而且大数据量使得神经网络进行一次梯度下降就需要很长时间。batch梯度下降:使用整个训练集训练模型mini-batch梯度下降:将庞大的训练集拆分成一个个小的训练集,依次使用小的训练集进行训练。随机梯度下降:将一个样本当做一个子训练集mini-batch的合理大小设置:大小需要考虑硬件的承受能力、CPU、GPU、内存等可以承受多少样本,一般来说子集的大小设置成 2 的...原创 2020-05-30 16:20:25 · 172 阅读 · 0 评论 -
一、AI学习笔记|优化基础
1、数据集配置有人将数据集划分成训练集、验证集和测试集,也有人只划分成训练集和测试集。原创 2020-05-29 19:36:41 · 257 阅读 · 0 评论 -
六、检验神经网络
在神经网络的训练当中, 神经网络可能会因为各种各样的问题, 出现学习的效率不高, 或者是因为干扰太多, 学到最后并没有很好的学到规律 . 而这其中的原因可能是多方面的, 可能是数据问题, 学习效率 等参数问题.1、训练集和测试集(验证集)检验数据,我们一般将现有的数据划分成两个集合:训练集和测试集,使用训练集训练模型,使用测试集考察训练的模型对于未见样本的泛化能力。2、误差曲线机器...转载 2019-11-06 02:10:44 · 363 阅读 · 0 评论 -
五、数据标准化、归一化、白化操作
目录一、深度网络训练的问题二、数据标准化的几种方法:1.标准化:2.归一化:3.白化:一、深度网络训练的问题总所周知,深度网络训练会遇到两个大问题:梯度消失和梯度爆炸。假设网络没有使用非线性函数,不考虑偏置b,设每层网络层输入为x(k−1)∈Rnk−1×1x(k−1)∈Rnk−1×1,参数是W(k)∈Rnk×nk−1W(k)∈Rnk×nk−1,输出为...转载 2019-11-06 02:00:16 · 2994 阅读 · 0 评论 -
四、加速神经网络训练 优化器 optimizer
关于优化器:其实机器学习训练过程中的本质就是在最小化损失,而在我们定义了损失函数后,优化器就派上了用场,在深度学习中,我们通常就是对于梯度优化,优化的目标就是网络模型里的参数θ(是一个集合,θ1、θ2、θ3 ……)。(我们设,一般的线形回归函数的假设函数是:对应的损失函数是:1. 常见的三个优化器(BGD,SGD,MBGD)(1): Batch Gradient Des...转载 2019-11-06 01:35:45 · 616 阅读 · 0 评论 -
三、处理不均衡数据
目录前言什么是数据不均衡数据不平衡很常见准确性悖论解决不平衡训练数据的8种策略前言在您正在处理数据集时您可以创建分类模型并立即获得90%的准确度。你觉得“非常不错”。但是当你深入一点时,发现90%的数据属于一个类。这是一个不平衡数据集的例子,它可能导致令人沮丧的结果。当你发现你的数据有不平衡的类并且你认为你得到的所有好的结果都变成了错误的时候,你会感到非常...转载 2019-11-06 01:16:47 · 222 阅读 · 0 评论 -
二、Batch Normalization 批标准化
首先看一下什么是一般的 normalization:在机器学习中,我们需要对输入的数据做预处理,可以用 normalization 归一化 ,或者 standardization 标准化,用来将数据的不同 feature 转换到同一范围内,normalization 归一化 :将数据转换到 [0, 1] 之间,standardization 标准化:转换后的数据符合标准正态分布...转载 2019-11-06 01:05:01 · 130 阅读 · 0 评论 -
一、深度学习 L1 L2正则化
目录正则化(Regularization)稀疏模型与特征选择L1和L2正则化的直观理解L2正则化和过拟合正则化参数的选择L1正则化参数L2正则化参数正则化(Regularization)机器学习中几乎都可以看到损失函数后面会添加一个额外项,常用的额外项一般有两种,一般英文称作 ℓ1ℓ1-norm 和 ℓ2ℓ2-norm,中文称作 L1正则化 和...转载 2019-11-06 00:37:44 · 546 阅读 · 0 评论