- 博客(11)
- 收藏
- 关注
原创 【Pytorch】反向传播为NaN报错的排查解决方法,RuntimeError: Function ‘BmmBackward0‘ returned nan values
【Pytorch】反向传播为NaN报错的排查解决方法,RuntimeError: Function 'BmmBackward0' returned nan values
2022-08-12 15:53:39 11773 3
原创 从零开始的leetcode刷题(使用python)Day1
从零开始用python刷leetcode,随手记录一些tips1.哈希表(leetcode第一题两数之和)哈希表也叫作散列表,数据结构提供了键(key)和值(value)的映射关系,具有高效快速查找的特点,其查找时间复杂度为O(1)。在python语言中,哈希表对应的集合叫做字典(dict)。哈希表也是一个特殊的数组,哈希表示将键key经过哈希函数处理得到数组的下标,从而键值对在数组内的位置,根据键key可以直接求得键值对在数组上的位置,所以在哈希表上查找O(1)比在数组中查找O(n)有很好的实时性。在使用
2022-07-05 23:03:05 1032
原创 【深度学习中的数学】高维矩阵乘法规则
⾼维矩阵指维度≥3的矩阵,或者叫张量。高维矩阵相乘分两种情况:1.相同维度 2.不同维度1.相同维度矩阵本质上还是⼆维矩阵之间的乘法,即把最后两个维度看成矩阵,执⾏⼆维矩阵乘法。要求:1)后两维满足二维矩阵乘法2)前几维形状相同例如(a,b,c,d)可与(a,b,d,e)相乘但由于广播机制的存在,要求2)不满足时也可进行相乘,前几维取较大的形状(a,b,c,d)*(e,f,d,g)=(max{a,b},max{b,f},c,g)实战中可以使用numpy中的matmul()
2022-05-10 11:29:09 4414 2
原创 批量规范化层batch normalization(BN)
1.为什么需要批量归一化⾸先,数据处理的⽅式通常会对最终结果产⽣巨⼤影响。在数据预处理中,我们的第⼀步是标准化(数据归一化)输⼊特征X,使其平均值为0,⽅差为1。直观地说,这种标准化可以很好地与我们的优化器配合使⽤,因为它可以将参数的量级进⾏统⼀。第⼆,对于典型的多层感知机或卷积神经⽹络。当我们训练时,中间层中的变量(例如,多层感知机中的仿射变换输出)可能具有更⼴的变化范围:不论是沿着从输⼊到输出的层,跨同⼀层中的单元,或是随着时间的推移,模型参数的随着训练更新变幻莫测。批量规范化的发明者⾮正式地假设
2022-04-27 18:44:12 3184
原创 【动手学深度学习】从resnet中学到的深度学习
1.学习模型的理解对于一类神经网络模型(更多指完备的模型,而非cnn、rnn等类型,如resnet、vgg等),他可以拟合一定范围之内的函数,所有函数构成集合F。其中任意f是我们通过训练得到的,f*是我们所期望得到的函数,但是f*可能在模型函数集合F之中,也可能在F之外。训练是求解以下优化问题:X、Y为训练集中的输入输出,argmin表示返回Loss()函数最小的参数值2.如何保证模型加深能够使结果更优?怎样得到更近似真正f∗的函数呢?唯⼀合理的可能性是,我们需要设计⼀个更强⼤的架构
2022-04-26 15:48:46 1693
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人