- 博客(11)
- 收藏
- 关注
RSS订阅原创 Docker 常用命令总结
1. docker镜像下载在 镜像下载地址 寻找想要的镜像，用docker pull拉下来例如下载opencv4-python3的镜像：docker pull ajeetraina/opencv4-python3.2. docker镜像、容器的删除查看本地镜像: docker images删除镜像： docker rmi image_ID(必须清理掉该镜像下所有处于终止状态的容器，可使用 docker ps -a查看所有处于终止状态的容器)删除容器： docker rm container_ID
2021-03-15 09:46:59
183
原创 LSTM前向传播与反向传播算法推导（非常详细）
1.长短期记忆网络LSTMLSTM(Long short-term memory)通过刻意的设计来避免长期依赖问题，是一种特殊的RNN。长时间记住信息实际上是 LSTM 的默认行为，而不是需要努力学习的东西！所有递归神经网络都具有神经网络的链式重复模块。在标准的RNN中，这个重复模块具有非常简单的结构，例如只有单个tanh层，如下图所示。[外链图片转存失败(img-EwKxtSFp-1569...
2019-09-21 15:48:15
6019
2
原创 RNN前向传播、反向传播与并行计算(非常详细)
1. RNN前向传播在介绍RNN之前，首先比较一下RNN与CNN的区别：RNN是一类用于处理序列数据的神经网络，CNN是一类用于处理网格化数据(如一幅图像)的神经网络。RNN可以扩展到更长的序列，大多数RNN也能处理可变长度的序列。CNN可以很容易地扩展到具有很大宽度和高度的图像，并且可以处理可变大小的图像。RNN的前向传播如图所示，其中f(x)f(x)f(x)代表激活函数，输出的l...
2019-09-13 15:49:05
2570
1
原创 四张图彻底搞懂CNN反向传播算法
阅读本文之前，请首先阅读之前讲述的全连接层的反向传播算法详细推导过程： 全连接反向传播算法。已经了解反向传播算法请自动忽略。1. 卷积层的反向传播直接上图：假设输入为一张单通道图像xxx，卷积核大小为2×22\times 22×2，输出为yyy。为了加速计算，首先将xxx按卷积核滑动顺序依次展开，如上图所示。其中，x^\hat{x}x^中的红色框代表xxx中的红色框展开后的结果，将xxx...
2019-09-08 14:24:23
1204
原创 深度学习中的模型优化（SGD、Momentum、Nesterov、AdaGrad、Adadelta、RMSProp以及Adam）
随机梯度下降Batch Gradient Descent(BGD)BGD在训练中,每一步迭代都是用训练集中的所有数据,也就是说,利用现有参数对训练集中的每一个输入生成一个估计输出,然后跟实际输出比较,统计所有误差,求平均以后得到平均误差,并以此作为更新参数的依据.优点: 由于每一步都利用了训练集中的所有数据,因此当损失函数达到最小值以后,能够保证此时计算出的梯度为0,换句话说,就是能够收敛...
2019-09-04 01:17:33
954
原创 深度学习总的正则化、半监督学习、多任务学习以及Bagging
正则化的定义为"对学习算法的修改–旨在减少泛化误差而非训练误差"。正则化的策略包括参数范数惩罚、约束范数惩罚、提前终止以及Dropout等等。一、参数范数惩罚参数惩罚是指在目标函数JJJ中添加一个参数范数惩罚Ω(θ)\Omega(\theta)Ω(θ),限制模型的学习能力：J~(θ;X,y)=J(θ;X,y)+αΩ(θ)\tilde{J}(\theta;X, y)=J(\theta; X, ...
2019-08-29 23:00:31
1101
原创 反向传播算法推导过程（非常详细）
1. 前向传播假设XXX为N×mN\times mN×m的矩阵（其中，NNN为样本个数（batch size），mmm为特征维数）h1h_1h1与Z1Z_1Z1的维数为m1→W1m_1 \rightarrow W_1m1→W1为m×m1m\times m_1m×m1的矩阵，b1∈Rm1,b_1 \in \mathbb{R}^{m_1},b1∈Rm1,h2h_2h2与Z2Z_...
2019-08-25 00:53:13
8883
3
原创 线性判别分析LDA原理
线性判别分析LDA原理线性判别分析LDA(Linear Discriminant Analysis)又称为Fisher线性判别，是一种监督学习的降维技术，也就是说它的数据集的每个样本都是有类别输出的，这点与PCA（无监督学习）不同。LDA在模式识别领域（比如人脸识别，舰艇识别等图形图像识别领域）中有非常广泛的应用，因此我们有必要了解下它的算法原理。1. LDA的思想LDA的思想是： 最大化类...
2019-08-14 09:21:47
476
原创 SVD奇异值分解逐步推导
SVD奇异值分解逐步推导1. 回顾特征值和特征向量首先回顾下特征值和特征向量的定义：Ax=λxAx=\lambda xAx=λx其中，A是一个n×nn\times nn×n的矩阵，xxx是一个nnn维向量，则λ\lambdaλ是矩阵A的一个特征值，而xxx是矩阵A的特征值λ\lambdaλ对应的特征向量。求出特征值和特征向量有什么好处呢？就是我们可以将矩阵A特征分解。如果我们求出了矩阵...
2019-08-11 01:55:45
416
原创 拉格朗日对偶性
SVD奇异值分解逐步推导原文链接1. 回顾特征值和特征向量首先回顾下特征值和特征向量的定义：Ax=λxAx=\lambda xAx=λx其中，A是一个n×nn\times nn×n的矩阵，xxx是一个nnn维向量，则λ\lambdaλ是矩阵A的一个特征值，而xxx是矩阵A的特征值λ\lambdaλ对应的特征向量。求出特征值和特征向量有什么好处呢？就是我们可以将矩阵A特征分解。如果我...
2019-08-04 03:26:39
184
原创 Meta-SR：A Magnification-Arbitrary Network for Super-Resolution 论文阅读笔记
Meta-SR：A Magnification-Arbitrary Network for Super-Resolution 论文阅读笔记论文链接本文主要的创新点：提出了Meta-Upscale module,首次通过dynamically predict weights,实现了单一模型对输入图片进行任意尺度的上采样Feature Learning Modulefeature le...
2019-07-26 14:34:03
616
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人