![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习基础
hwblittlebird
这个作者很懒,什么都没留下…
展开
-
激活函数和Loss的梯度
激活函数及其梯度1.1Sigmoid函数及图像1.2Sigmoid导数1.3Sigmoid使用2.1Tanh函数及图像2.2Tanh导数2.3Tanh使用3.1ReLU函数及图像3.2ReLU导数3.3ReLU使用Loss及其梯度1.1MSE(Mean Squared Error)1.2MSE导数...原创 2020-06-20 17:51:14 · 179 阅读 · 0 评论 -
实验结果可复现--seed
为了保证实验结果可以复现,我们经常会把各种random seed固定在某一个值.运行下面的代码后,并不是指下面的所有随机数都相等,而实随机数据在固定位置上的已经确定,即下次在运行下面的代码,则相同位置上初始化的随机数与之前相同。random.seed(10)np.random.seed(10)torch.manual_seed(10)if torch.cuda.is_available(...原创 2020-05-05 15:38:54 · 700 阅读 · 0 评论 -
world2vec算法skip-gram
转载https://blog.csdn.net/weixin_41843918/article/details/90312339转载 2020-05-05 13:40:12 · 213 阅读 · 1 评论 -
余弦相似度和范数
余弦相似度余弦距离,也称为余弦相似度,是用向量空间中两个向量夹角的余弦值作为衡量两个个体间差异的大小的度量。余弦值越接近1,就表明夹角越接近0度,也就是两个向量越相似,这就叫"余弦相似性"。公式推导如下:a,b两个二维向量在坐标系中的表示如下。通过余弦定理公式推导出余弦相似度公式。范数上图结果中字母的||*||符号是范数的表示符号。范数(Norm)是一种关于向量的函数,是向量“长...转载 2020-05-05 12:50:50 · 1219 阅读 · 0 评论 -
梯度消失和梯度爆炸
原文链接:https://blog.csdn.net/junjun150013652/article/details/81274958https://www.jianshu.com/p/3f35e555d5ba1.为什么使用梯度下降来优化神经网络参数?反向传播(用于优化神网参数):根据损失函数计算的误差通过反向传播的方式,指导深度网络参数的更新优化。采取反向传播的原因:首先,深层网络由许多...转载 2020-04-27 12:46:24 · 374 阅读 · 0 评论