深度学习
泉水豆花儿
oj8k_chen@163.com
展开
-
SDNE(Structural Deep Network Embedding)理论及pytorch实现
SDNE 使用自动编码器(AutoEncoder)结合拉普拉斯特征映射(Laplacian Eigenmaps),针对网络结构非线性,构建多层非线性函数深度模型,同时针对全局和局部结构以及稀疏性问题,同时利用一阶相似性和二阶相似性学习网络的局部结构信息和全局结构信息。SDNE使用自动编码器(AutoEncoder)结构,同时优化1阶相似度和2阶相似度,学习到的向量表示能够保留局部和全局结构,并...原创 2020-03-07 21:09:50 · 2018 阅读 · 4 评论 -
【深度学习】回归问题和分类问题损失函数求导
1.回归问题J=12N∑i=1N∥yi−y^∥2 J = \frac{1}{2N}\sum_{i=1}^{N} \|y^i - \hat{y} \|^2 J=2N1i=1∑N∥yi−y^∥2∂J∂yi=1N∑i=1N(yi−y^) \frac{ \partial J}{\partial y^i} = \frac{1}{N}\sum_{i=1}^{N}{(y^i - \hat{y})} ...原创 2020-01-06 00:04:12 · 542 阅读 · 0 评论 -
Multionoulli分布(范畴分布)与softmax
一、Multionoulli分布Multionoulli分布(或范畴分布)指在具有k个不同状态的单个离散型随机变量上的分布,其中k是一个有限值。Multionoulli分布,由向量参数化,其中每一个分量表示第i个状态的概率。最后第k个状态的概率可以通过给出,。这里,其实应该为即除第k个状态的其他状态概率之和。Multionoulli分布经常用来表示对象分类的分布,很少假设状态1具有数值...原创 2019-04-16 10:37:40 · 2365 阅读 · 0 评论