![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
weixin_44646187
这个作者很懒,什么都没留下…
展开
-
softmax激活函数与softmax损失函数
解决办法是先对每个元素进行指数操作,全部转换为正数,然后再用刚才的方法得到每个类别的概率。softmax 函数将每个单元的输出压缩到 0 和 1 之间,是标准化输出,输出之和等于 1。在二分类任务中,输出层使用的激活函数为 sigmoid,而对于多分类的情况,就需要用到softmax 激活函数给每个类都分配一个概率。多分类的情况下,神经网络的输出是一个长度为类别数量的向量,比如输出是(1,1,2),为了计算概率,可以将其中的每个除以三者之和,得到 (0.25, 0.25, 0.5)。...原创 2022-08-27 15:33:00 · 4555 阅读 · 0 评论 -
图注意力机制
参考资料论文博客视频。原创 2022-07-28 10:35:33 · 645 阅读 · 0 评论 -
深度学习——超参数设置
一.过拟合1.定义:给定一个假设空间H,一个假设h属于H,如果存在其他的假设h’属于H,使得在训练样例上h的错误率比h’小,但在整个实例分布上h’比h的错误率小,那么就说假设h过度拟合训练数据。2.通俗解释3.常见原因主要是学习过度和样本特征不均衡,如果细分,还可以包括(并未能列举全部原因):(1)建模样本选取有误,样本标签错误等,导致选取的样本数据不足以代表预定的分类规则(2)样本噪音干扰过大,使得机器将学习了噪音,还认为是特征,从而扰乱了预设的分类规则(3)假设的模型无法合理存在,或者说是原创 2022-04-22 20:18:49 · 2995 阅读 · 0 评论