![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
人工智能
Leri_X
这个作者很懒,什么都没留下…
展开
-
VAE 中 KL散度 推导过程
参考https://blog.csdn.net/sallyyoung_sh/article/details/54632668这里附上我的手写笔记原创 2020-04-11 16:28:44 · 1247 阅读 · 0 评论 -
softmax 简单讲解
1.softmax 的位置softmax(软最大输出函数),可以将输入序列映射到 0-1 之间,且映射后的序列和为 1,这样就可以理解为,将输入序列转化为分别对应属于某些分类的概率,因此常常用来作为多分类任务中的激活函数,同时使用交叉熵作为损失函数。2.softmax函数及导数softmax 函数softmax 求导时分两种情况:当 i = j 时:当 i ≠ ...原创 2020-03-10 17:41:21 · 657 阅读 · 0 评论 -
pytorch Tensor合并与切割
合并1. cat dim表示拼接的维度。注意其他维度要保持一致。 2. stack dim维度前添加一个新的维度,作为原来两个tensor连接,进行区分的维度 如果我们令c = torch.stack([a,b], dim=1) 则: c[:,0,...] == a ...原创 2020-03-03 16:20:16 · 954 阅读 · 0 评论 -
pytorch 创建 tensor
1. 从np中读取a = np.array([1,2,3,4.2])b = torch.from_numpy(a)2. 直接读取lista = [1,2,3,4,5.1]b = torch.tensor(a)c = torch.tensor([1,2,3])3. 直接生成a = torch.Tensor(2,3)b = torch.Float...原创 2020-03-01 22:45:19 · 200 阅读 · 0 评论 -
Batch normalization理解
学习时候发现了有的网络结构中将BN作为单独的一层进行设计,因此学习了一下BN。1.Batch normalization理解BN可以作为激活层之前一层,将输入数据进行标准化,BN计算公式如下:其中,E[x]为均值,sqrt(var)为标准差,可知BN层的输出其实是将输入的数据标准化成为均值为0方差为1的正态分布。这样做的原因呢?这里我们假设使用si...原创 2020-02-29 15:15:18 · 368 阅读 · 0 评论