自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(11)
  • 收藏
  • 关注

原创 Docker 常用命令总结

1. docker镜像下载在 镜像下载地址 寻找想要的镜像,用docker pull拉下来例如下载opencv4-python3的镜像:docker pull ajeetraina/opencv4-python3.2. docker镜像、容器的删除查看本地镜像: docker images删除镜像: docker rmi image_ID(必须清理掉该镜像下所有处于终止状态的容器,可使用 docker ps -a查看所有处于终止状态的容器)删除容器: docker rm container_ID

2021-03-15 09:46:59 181

原创 LSTM前向传播与反向传播算法推导(非常详细)

1.长短期记忆网络LSTMLSTM(Long short-term memory)通过刻意的设计来避免长期依赖问题,是一种特殊的RNN。长时间记住信息实际上是 LSTM 的默认行为,而不是需要努力学习的东西!所有递归神经网络都具有神经网络的链式重复模块。在标准的RNN中,这个重复模块具有非常简单的结构,例如只有单个tanh层,如下图所示。[外链图片转存失败(img-EwKxtSFp-1569...

2019-09-21 15:48:15 5974 2

原创 RNN前向传播、反向传播与并行计算(非常详细)

1. RNN前向传播在介绍RNN之前,首先比较一下RNN与CNN的区别:RNN是一类用于处理序列数据的神经网络,CNN是一类用于处理网格化数据(如一幅图像)的神经网络。RNN可以扩展到更长的序列,大多数RNN也能处理可变长度的序列。CNN可以很容易地扩展到具有很大宽度和高度的图像,并且可以处理可变大小的图像。RNN的前向传播如图所示,其中f(x)f(x)f(x)代表激活函数,输出的l...

2019-09-13 15:49:05 2542 1

原创 四张图彻底搞懂CNN反向传播算法

阅读本文之前,请首先阅读之前讲述的全连接层的反向传播算法详细推导过程: 全连接反向传播算法。已经了解反向传播算法请自动忽略。1. 卷积层的反向传播直接上图:假设输入为一张单通道图像xxx,卷积核大小为2×22\times 22×2,输出为yyy。为了加速计算,首先将xxx按卷积核滑动顺序依次展开,如上图所示。其中,x^\hat{x}x^中的红色框代表xxx中的红色框展开后的结果,将xxx...

2019-09-08 14:24:23 1199

原创 深度学习中的模型优化(SGD、Momentum、Nesterov、AdaGrad、Adadelta、RMSProp以及Adam)

随机梯度下降Batch Gradient Descent(BGD)BGD在训练中,每一步迭代都是用训练集中的所有数据,也就是说,利用现有参数对训练集中的每一个输入生成一个估计输出,然后跟实际输出比较,统计所有误差,求平均以后得到平均误差,并以此作为更新参数的依据.优点: 由于每一步都利用了训练集中的所有数据,因此当损失函数达到最小值以后,能够保证此时计算出的梯度为0,换句话说,就是能够收敛...

2019-09-04 01:17:33 949

原创 深度学习总的正则化、半监督学习、多任务学习以及Bagging

正则化的定义为"对学习算法的修改–旨在减少泛化误差而非训练误差"。正则化的策略包括参数范数惩罚、约束范数惩罚、提前终止以及Dropout等等。一、参数范数惩罚参数惩罚是指在目标函数JJJ中添加一个参数范数惩罚Ω(θ)\Omega(\theta)Ω(θ),限制模型的学习能力:J~(θ;X,y)=J(θ;X,y)+αΩ(θ)\tilde{J}(\theta;X, y)=J(\theta; X, ...

2019-08-29 23:00:31 1100

原创 反向传播算法推导过程(非常详细)

1. 前向传播假设XXX为N×mN\times mN×m的矩阵(其中,NNN为样本个数(batch size),mmm为特征维数)h1h_1h1​与Z1Z_1Z1​的维数为m1→W1m_1 \rightarrow W_1m1​→W1​为m×m1m\times m_1m×m1​的矩阵,b1∈Rm1,b_1 \in \mathbb{R}^{m_1},b1​∈Rm1​,h2h_2h2​与Z2Z_...

2019-08-25 00:53:13 8872 3

原创 线性判别分析LDA原理

线性判别分析LDA原理线性判别分析LDA(Linear Discriminant Analysis)又称为Fisher线性判别,是一种监督学习的降维技术,也就是说它的数据集的每个样本都是有类别输出的,这点与PCA(无监督学习)不同。LDA在模式识别领域(比如人脸识别,舰艇识别等图形图像识别领域)中有非常广泛的应用,因此我们有必要了解下它的算法原理。1. LDA的思想LDA的思想是: 最大化类...

2019-08-14 09:21:47 472

原创 SVD奇异值分解逐步推导

SVD奇异值分解逐步推导1. 回顾特征值和特征向量首先回顾下特征值和特征向量的定义:Ax=λxAx=\lambda xAx=λx其中,A是一个n×nn\times nn×n的矩阵,xxx是一个nnn维向量,则λ\lambdaλ是矩阵A的一个特征值,而xxx是矩阵A的特征值λ\lambdaλ对应的特征向量。求出特征值和特征向量有什么好处呢?就是我们可以将矩阵A特征分解。如果我们求出了矩阵...

2019-08-11 01:55:45 412

原创 拉格朗日对偶性

SVD奇异值分解逐步推导原文链接1. 回顾特征值和特征向量首先回顾下特征值和特征向量的定义:Ax=λxAx=\lambda xAx=λx其中,A是一个n×nn\times nn×n的矩阵,xxx是一个nnn维向量,则λ\lambdaλ是矩阵A的一个特征值,而xxx是矩阵A的特征值λ\lambdaλ对应的特征向量。求出特征值和特征向量有什么好处呢?就是我们可以将矩阵A特征分解。如果我...

2019-08-04 03:26:39 181

原创 Meta-SR:A Magnification-Arbitrary Network for Super-Resolution 论文阅读笔记

Meta-SR:A Magnification-Arbitrary Network for Super-Resolution 论文阅读笔记论文链接本文主要的创新点:提出了Meta-Upscale module,首次通过dynamically predict weights,实现了单一模型对输入图片进行任意尺度的上采样Feature Learning Modulefeature le...

2019-07-26 14:34:03 616

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除