- 博客(9)
- 收藏
- 关注
RSS订阅
1原创 pytorch DDP 分布式训练
解决方法：将device_ids设为list解决方法：parser.add_argument(“–local_rank”, type=int, default=0, required=True, help=‘local rank for DistributedDataParallel’)问题原因：在这个错误是由于训练参数分布存在错误，某些参数没有参与训练导致。解决方法：把之前的问题解决即可。http://zhuanlan.zhihu.com/p/76638962http://zhuanlan.zhihu
2023-11-07 23:03:31
290
原创 6、单层卷积网络
一个单层神经网络的例子（卷积层）上图是一个单层卷积网络的图像，输入三维数据的大小为6×6×3，两个滤波器的大小为3×3×3。通过滤波器对输入数据进行遍历，会得到两个4×4大小的输出图像，如下图所示：通过将两个4×4的输出数据进行叠加，我们则得到最终4×4×2的输出数据。以上的卷积是在视图层面进行的，从上图可以看出，滤波器的层数须与RGB图像的通道数相同（皆为3），若将这个过程表示在神经网络中，则每一个部分所代表的参数如下图所示：上图所示，输入部分，即a[0]a^{[0]}a[0]大小为6×6
2020-05-14 14:03:34
655
原创 5、深层神经网络块、超参数
此次主要学习了在搭建一个深层神经网络模块时，需要注意到哪些内容，本文将通过下图进行说明：上图描述的是一个深层神经网络模型正向和反向传播的过程。每一个方框代表着一个隐藏层。从图中得出，有几处要点需要注意：（1）正向传播过程中，需要将每一层的z[l]、w[l]、b[l]z^{[l]}、w^{[l]}、b^{[l]}z[l]、w[l]、b[l]进行缓存，方便反向传播时使用（尤其是在编写代码时须注...
2020-04-25 23:10:42
211
原创 深度神经网络中的维度问题
1、单一样本时的维度问题在上图中，l=5l=5l=5正向传播的过程即为：z[1]=w[1]x+b[1]z^{[1]}=w^{[1]}x+b^{[1]}z[1]=w[1]x+b[1]其中，z[1]z^{[1]}z[1]的维度为（3，1），x即a[0]a^{[0]}a[0]的维度为（2，1），由此可知w[1]w^{[1]}w[1]的维度为（3，2），则b[1]b^{[1]}b[1]的维度为（...
2020-04-20 11:29:41
1151
原创 3、深度神经网络学习笔记
一、什么是深度神经网络通常将逻辑回归函数以及下述的双层神经网络（输入层不算）定义为浅层神经网络，因为它不具备学习的能力。将一些多层且复杂的神经网络定义为深度神经网络。浅层神经网络模型：深度神经网络模型一些符号的定义：在下面的描述中，这些符号将被运用到n[l]n^{[l]}n[l]：代表第lll层的节点数，l=1l=1l=1是第一个隐藏层，输入层为第0层。a[l]a^{[l]}a...
2020-04-19 23:18:34
275
原创 神经网络学习笔记DAY2
@吴恩达神经网络学习DAY2一、向量化向量化的目的主要是减少for循环，在此项应用中，可以通过python/numpy中的np.not进行向量之间的点乘、np.sum进行矩阵之间相加等等。。。向量化的运算速度比for 循环快百倍有余。二、logistic回归成本函数证明为什么要用这样一个函数作为成本函数呢？首先我们定义了样本结果：y^=σ(wT+b)\hat y=\sigma(w^T...
2020-03-29 17:31:12
92
原创 nn学习笔记
@吴恩达神经网络学习DAY1回顾一下logistic回归方程：一、logistic回归模型可以如下表示：这是在只有一种样本的情况下（x,y）为样本，x为输入参数，y为基本真值，即为每个样本的真实输出结果；w是样本中的特征（如像素等），是一个n维的向量； y^\hat yy^为算法的输出值，它的结果因满足于y^≈y\hat y\approx yy^≈y;二、logistic回归的损失函...
2020-03-24 22:44:39
233
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人