深度学习心得

本文介绍了KLloss与softmax的结合用于学习one-hot分布,Pooling层在增强模型鲁棒性方面的角色,以及在减少参数时选择PCA降维的方法。特别提到了sklearn库中的PCA工具。此外,还澄清了cosine相似度的范围并非[0,1],而是[-1,1]。
摘要由CSDN通过智能技术生成

1. KL loss

其经常要与softmax一起使用,就是为了学习one-hot分布

2. 降维

Pooling层的作用是增加模型的鲁棒性,让模型对输入的少量变化不那么敏感。

如果真想通过降维,减少模型训练参数,那应该用PCA降维方法,

sklearn.decomposition.PCA

3. cosine的相似度是【-1,1】,不是【0,1】

  • 2
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值