- 博客(11)
- 收藏
- 关注
RSS订阅原创 【Pytorch】反向传播为NaN报错的排查解决方法，RuntimeError: Function ‘BmmBackward0‘ returned nan values
【Pytorch】反向传播为NaN报错的排查解决方法，RuntimeError: Function 'BmmBackward0' returned nan values
2022-08-12 15:53:39
9857
3
原创 从零开始的leetcode刷题（使用python）Day1
从零开始用python刷leetcode，随手记录一些tips1.哈希表（leetcode第一题两数之和）哈希表也叫作散列表，数据结构提供了键（key）和值（value）的映射关系，具有高效快速查找的特点，其查找时间复杂度为O(1)。在python语言中，哈希表对应的集合叫做字典（dict）。哈希表也是一个特殊的数组，哈希表示将键key经过哈希函数处理得到数组的下标，从而键值对在数组内的位置，根据键key可以直接求得键值对在数组上的位置，所以在哈希表上查找O(1)比在数组中查找O(n)有很好的实时性。在使用
2022-07-05 23:03:05
897
原创 【深度学习中的数学】高维矩阵乘法规则
⾼维矩阵指维度≥3的矩阵，或者叫张量。高维矩阵相乘分两种情况：1.相同维度 2.不同维度1.相同维度矩阵本质上还是⼆维矩阵之间的乘法，即把最后两个维度看成矩阵，执⾏⼆维矩阵乘法。要求：1）后两维满足二维矩阵乘法2）前几维形状相同例如（a,b,c,d）可与（a,b,d,e）相乘但由于广播机制的存在，要求2）不满足时也可进行相乘，前几维取较大的形状（a,b,c,d）*(e,f,d,g)=(max{a,b},max{b,f},c,g)实战中可以使用numpy中的matmul()
2022-05-10 11:29:09
3918
2
原创 批量规范化层batch normalization（BN）
1.为什么需要批量归一化⾸先，数据处理的⽅式通常会对最终结果产⽣巨⼤影响。在数据预处理中，我们的第⼀步是标准化（数据归一化）输⼊特征X，使其平均值为0，⽅差为1。直观地说，这种标准化可以很好地与我们的优化器配合使⽤，因为它可以将参数的量级进⾏统⼀。第⼆，对于典型的多层感知机或卷积神经⽹络。当我们训练时，中间层中的变量（例如，多层感知机中的仿射变换输出）可能具有更⼴的变化范围：不论是沿着从输⼊到输出的层，跨同⼀层中的单元，或是随着时间的推移，模型参数的随着训练更新变幻莫测。批量规范化的发明者⾮正式地假设
2022-04-27 18:44:12
3062
原创 【动手学深度学习】从resnet中学到的深度学习
1.学习模型的理解对于一类神经网络模型（更多指完备的模型，而非cnn、rnn等类型，如resnet、vgg等），他可以拟合一定范围之内的函数，所有函数构成集合F。其中任意f是我们通过训练得到的，f*是我们所期望得到的函数，但是f*可能在模型函数集合F之中，也可能在F之外。训练是求解以下优化问题：X、Y为训练集中的输入输出，argmin表示返回Loss()函数最小的参数值2.如何保证模型加深能够使结果更优？怎样得到更近似真正f∗的函数呢？唯⼀合理的可能性是，我们需要设计⼀个更强⼤的架构
2022-04-26 15:48:46
1660
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人