厚积薄发
柴布奇诺
喵~
展开
-
对pytorch中view与reshape的理解
同:从功能上来看,它们的作用是相同的,都是将原张量元素(按顺序)重组为新的shape。异:我的理解是,有两种情况:如果一个tensor原本在内存中是连续的,此时可以直接使用view(),也可以直接使用reshape()方法。如果原tensor经过了transpose之类的操作,改变了tensor中的元素(比如交换了元素的位置),但是tensor在内存空间中的存储位置没有改变,那么变换后的tensor在内存空间中的存储就不连续了。此时若想reshape变换后的tensor,可以有两种方法:一原创 2020-07-04 11:16:56 · 1009 阅读 · 0 评论 -
梳理L1、L2与Smooth L1
梳理L1、L2与Smooth L1关于L1、L2的范数、损失函数和正则化,之前一直混淆这几个概念,故对这几天看过的资料进行了梳理。范数(norm)是数学中的一种基本概念。在泛函分析中,它定义在赋范线性空间中,并满足一定的条件,即①非负性;②齐次性;③三角不等式。它常常被用来度量某个向量空间(或矩阵)中的每个向量的长度或大小。首先以L2范数为例对范数做一个简单的说明:L2范数:假设XXX是n维的特征X=(x1,x2,x3,…,xn)X=(x_1,x_2,x_3,…,x_n)X=(x1,x2,原创 2020-07-04 00:17:20 · 1547 阅读 · 0 评论