深度学习
文章平均质量分 87
深度学习学习探索,使用实践
Dragon Fly
A blessing in disguice
展开
-
十二、目标检测
在目标检测时,若同一个bounding box中包含多个目标,即多个目标出现重叠的情况,则上述算法无法准确输出目标的种类,所以提出了anchor box的概念。目标检测是图像识别中的更加复杂的应用情景,图像识别只需要输出某一幅图像的种类即可,目标检测不仅需要输出图像的种类,还需要使用边框框出图像中某一种物体的的位置,从而需要输出表示物体位置的参数:(特征点检测表示在一幅图偏重设置一些特征点,之后通过训练,将新图片中的特征点识别出来,从而进行图片信息的提取,如人脸识别,人体姿态识别等。表示物体中心位置坐标,原创 2023-05-14 20:29:55 · 399 阅读 · 0 评论 -
十一、计算机视觉中几种经典的网络结构
ResNets是由残差块构建的,残差块指的是在原本线性连接的不同层神经网络的神经元基础之上,将前面某层的输入**“skip connection”(short cut)**到后面更深层(通常向后跳两层)的网络之中,从而在一定程度上克服梯度消失和梯度爆炸的问题。从下图针对训练数据集的训练误差可以看出,随着神经网络层数的增加,普通的神经网络的训练误差会先增后降(由于梯度消失/梯度爆炸的问题),而ResNet的训练误差会持续下降,从而可以利用更深层的网络来达到更好的训练效果。从而使得VGGNet的结构比较简洁。原创 2023-04-02 11:21:47 · 979 阅读 · 0 评论 -
十、卷积神经网络
可以发现,卷积神经网络的大多数参数集中在全连接层,卷积层的参数相对较少,池化层没有需要训练的参数;另外,激活层的维度也会随着层数的增加而逐渐减小,但如果维度减小的太快,会影响卷积神经网络的整体性能。随着神经网络层数的增加,初始输入图片的维度(高度和宽度)会减小,但可以采用更多的卷积核和池化核,使得通道数量增加。时,将每个池化核覆盖的输入图像中最大的数字填充到输出图像中,输入图像,输出图像和池化核之间的维度关系和卷积计算时相同,均为。,顾名思义,试讲每个池化核覆盖的输入图像中的数字的平均值填充到输出图像中。原创 2023-03-03 23:21:11 · 352 阅读 · 0 评论 -
九、初识卷积
从上述卷积计算过程可以发现,原图像边缘的像素点使用的次数远低于中间像素点的使用次数,为了充分利用边缘像素点的信息,可以通过。在进行卷积操作时,卷积核每一次移动的步长(strid)不一定为1,也可以为大于1的其他数。1的灰度图像,图像中的数字越小,表示图像的颜色越深,则通过以下卷积(符号为*)计算,可以得到一张新的4。对于RGB图像的卷积操作使用的卷积核的维度为。1的图像,新图像中的中间部分便可以直观表现出原始图像的垂直边缘。卷积层的卷积操作之后,得到的结果图像恰好和原图像的尺寸相同,为。原创 2023-02-14 22:04:44 · 565 阅读 · 0 评论 -
八、迁移学习和多任务学习
端到端学习是相对于流水线学习而言的一种学习方式,如语音识别中,在端到端学习出现之前,会有一个复杂的流水线流程来实现一段语音的识别,流水线中包含很多繁琐的细节,每个细节中又包含许多繁杂的手工设计。如在图像识别中,当前手头的任务是需要训练一个关于医学影像识别的分类器,但是没有过多的训练数据,则可以使用其他训练好的分类器,如猫/狗/车分类器,其中的部分学习到的知识(部分神经网络参数)应用到医学影像识别分类器中。这样,就需要使用单一的神经网络来是被不同的物体是否存在于同一张图片之中,称之为多任务学习。原创 2023-01-28 22:35:52 · 784 阅读 · 0 评论 -
七、机器学习策略-ML strategy
在进行机器学习参数调整时,通常对相互之间orthogonal的参数进行调整,如使用更大的网络,更换梯度下降更新算法(Adam,sgd),使用更大的训练集,使用更大的测试集等均属于正交化的参数,调整一个并不会影响其他参数的效果。减小avoidance error的方式有:可以通过训练更大的网络,训练更长的时间/使用更好的优化梯度优化方法(momentum,RMSpop,Adam),更改网络的结构(增加影藏层数,隐藏层神经元数,RNN,CNN)或者调整训练参数(改变激活函数类型)。得分来衡量分类器的好坏,原创 2023-01-27 21:10:28 · 279 阅读 · 0 评论 -
人脸识别数据集
人脸识别数据集原创 2022-10-30 22:46:51 · 1297 阅读 · 3 评论 -
六、超参数调整, 批量正则化 和多元分类器
参数调整原创 2022-08-11 23:09:22 · 777 阅读 · 0 评论 -
五、深度学习优化算法
深度学习优化算法简介原创 2022-07-17 15:47:15 · 1363 阅读 · 3 评论 -
四、机器学习基础
深度学习简介原创 2022-07-04 22:15:47 · 4324 阅读 · 0 评论 -
三、深层神经网络
文章目录1、L层神经网络2、深层网络提出的1、L层神经网络\qquad 将浅层神经网络的隐藏层的层数增多之后,可以得到更深层的神经网络结构。下图是一个L=4层的神经网络示意图:\qquad之前浅层网络中定义的符号,在深层网络中同样适用,如n[l]n^{[l]}n[l]表示第lll层的神经元个数,g[l]g^{[l]}g[l]表示第lll层的激活函数,a[l]a^{[l]}a[l]表示第lll层的输出值。\qquad生成神经网络的前向传播通用表达式如下所示:Z[l]=w[l]A[l−1]+b[l]原创 2022-06-17 12:39:41 · 373 阅读 · 0 评论 -
*、Policy Gradient和PPO(PPO2)
文章目录1、基本组成部分2、policy gradient执行过程3、执行policy gradient的Tips3.1 增加一个baseline3.2 分配合理的reward权重4、Proximal Policy Optimization4.1 On policy 和 Off Policy1、基本组成部分\qquad Policy Gradient由3部分组成,分别是actor,environment和reward function,其中actor是可以控制的,但是environment和reward原创 2022-05-31 11:37:08 · 368 阅读 · 0 评论 -
二、浅层神经网络
文章目录1、神经网络的表示2、激活函数1、神经网络的表示\qquad 所有输入特征组成输入层(Input Layer),最终的输出神经元组成输出层(Output Layer),输入层和输出层之间的叫做隐藏层(Hidden Layer)。神经网络通过偏置和权重进行计算的示意图如下图所示:\qquad将上述计算式进一步进行整合:z[1]=W[1]x+b[1]a[1]=σ(z[1])z[2]=W[2]a[1]+b[2]a[2]=σ(z[2])z^{[1]}=W^{[1]}x+b^{[1]}\\a^{[原创 2022-05-22 11:27:06 · 874 阅读 · 0 评论 -
一、深度学习简介
文章目录1、什么是神经网络2、使用神经网络做监督学习3、使用神经网络做逻辑回归3.1 符号定义3.2 逻辑回归模型3.3 使用梯度下降训练神经网络1、什么是神经网络\qquad 一个关于房价预测的简单神经网络示意图如下图所示:\qquad其中,最左测的所有特征称为输入层(Input layer),中间一层称为全连接层(dense layer),最右侧一层称为输出层(output layer)。2、使用神经网络做监督学习\qquad 使用神经网咯做监督学习的使用案例如下所示:\qquad 基本原创 2022-05-16 12:03:52 · 455 阅读 · 0 评论 -
tensorboard_logger库无法导入的问题解决
一、问题描述\qquad最近在学习深度学习时,从大神们那里copy的代码中有用到tensorboard_logger这个库的东西,所以很自然地就用conda install或者pip去安装它,但是结果是:python开源库里面没有这东西。。。这就让我很苦恼,所以只能自己动手,丰衣足食了。二、解决方法\qquad 首先找到tensorboard_logger这个库的官网,如下所示:<https://pypi.org/project/tensorboard_logger/#files>,之后原创 2022-04-24 11:51:55 · 4250 阅读 · 4 评论 -
python无法导入自定义的包:未解析的引用“Node“
一、问题描述\qquad 最近在使用Python研究深度学习算法时,从网上copy来的代码之后在Pycharm中打开之后,发现有的自定义的包会出现下述问题:\qquad上述包“utils”是自定义的包,不是第三方包,所以不要去pip啥的。。。这让用习惯C++,眼里揉不进一点沙子的我感觉非常难受,所以研究了一番,发现本质问题出在目录结构上!!!2、解决方法2.1 解决方法一\qquad本文提供两种解决方法,第一种是受到下面博客的启发,下面的博主应该也是注意到了是目录结构问题,但是没有从本质上解决它原创 2022-04-24 11:41:16 · 18010 阅读 · 3 评论 -
一、序列模型-sequence model
文章目录1、符号定义2、构建循环神经网络-Recurrent Neural Network2.1 RNN中的反向传播2.2 不同架构的RNN3、语言模型的RNN架构3.1 架构3.2 序列采样4、RNN的梯度消失问题-vanishing gradients4.1 门控制单元-Gate Recurrent Unit4.2 长短期记忆单元-Long Short Term Memory5、双向RNN-Bidirectional RNN5、深度RNN-Deep RNN\qquad在生活中,有许多领域都用到了序列模原创 2022-04-22 18:04:56 · 2110 阅读 · 0 评论