- 博客(3)
- 收藏
- 关注
RSS订阅原创 奇异值分解(SVD)
推荐： https://blog.csdn.net/abcjennifer/article/details/8131087LSI(或者LSA，潜在语义分析)，简单来说: 给定矩阵A, shape = (m,n),其中m是文档数，n是单词数，aijaija_{ij}表示第i篇文档中第j个单词的特征，比如：词频、TF-IDF。 通过SVD,将A分解成三个矩阵。 A = XBY X: sha...
2018-06-30 20:00:13
614
原创 Transformer
强烈推荐：https://jalammar.github.io/illustrated-transformer/ 特点： 简单明了，清晰易懂。对Transformer里的self-attention(multi-head), positional encoding这些concepts有一个基本的认识。 缺点：具体细节仍需要进一步阅读其他资料。更进一步： 未完…...
2018-06-30 09:47:19
11429
2
原创 深度神经网络之初始化
参考： https://www.leiphone.com/news/201703/3qMp45aQtbxTdzmK.html在深度神经网络中，权重的初始化十分重要，对模型的收敛速度和模型质量有重大的影响。首先，来一个宏观的认识。在Relu激活函数的网络里，推荐使用Xavier Initialization的变种。 以全连接层中的权重为例：import numpy as npW = ...
2018-06-24 21:49:36
554
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人