深度学习
文章平均质量分 83
人鱼线
1、越努力,越幸运! 2、机会总是留给有准备的人! 3、承受别人不能承受的,才能得到别人不能得到的!
展开
-
Self-Attention模型(李宏毅)
李宏毅关于self-attention翻译 2023-02-27 11:11:05 · 791 阅读 · 0 评论 -
2021-04-04
参考https://blog.csdn.net/ignoreyou/article/details/85132738 这篇文章给自己的黑苹果安装上深度学习环境。稍有修改环境软件环境:macOS Sierra 10.13.6GPU Driver: WebDriver-387.10.10.10.40.108CUDA Driver: cudadriver_396.148_macosCudaToolkit: cuda_9.2.148_macCUDNN: cudnn-9.2-osx-x64...转载 2021-04-04 12:59:11 · 427 阅读 · 0 评论 -
深度学习中的多任务学习-multi-learning总结
多任务学习(Multi-task learning)的两种模式深度学习中两种多任务学习模式:隐层参数的硬共享与软共享。隐层参数硬共享,指的是多个任务之间共享网络的同几层隐藏层,只不过在网络的靠近输出部分开始分叉去做不同的任务。 隐层参数软共享,不同的任务使用不同的网络,但是不同任务的网络参数,采用距离(L1,L2)等作为约束,鼓励参数相似化。Hard 参数共享共享 Hard 参数是神经网络 MTL 最常用的方法,可以追溯到 [2]。在实际应用中,通常通过在所有任务之间共享隐藏层,同时保...原创 2020-05-11 17:37:04 · 7393 阅读 · 0 评论 -
Dropout
1. 为什么要加Dropout?2. dropout 是在模型训练的时候进行失活,而且每轮训练失活的神经元是不固定的,随机的。3.Dropout 有哪些问题:会导致方差偏移、方差分布不一样,所以在keras 中有两个方法dropout方法 和α dropout ;α dropout 能修正方差偏移的问题4. Dropout是怎么实现的?是通过tensorfl...原创 2020-04-14 13:20:03 · 4170 阅读 · 0 评论 -
Batch Normalization批标准化
Ref:什么是 Batch normalizationhttps://blog.csdn.net/hffhjh111/article/details/86994445深入理解Batch Normalization批标准化https://www.cnblogs.com/guoyaohua/p/8724433.html对于BN层的理解:就是 正态分布的特征--> Dens...原创 2020-03-09 10:56:55 · 333 阅读 · 0 评论 -
全连接层的激活函数
1、全连接层当来到了全连接层之后,可以理解为一个简单的多分类神经网络(如:BP神经网络),通过softmax函数得到最终的输出。整个模型训练完毕。两层之间所有神经元都有权重连接,通常全连接层在卷积神经网络尾部。也就是跟传统的神经网络神经元的连接方式是一样的:全连接层(fully connected layers,FC)在整个卷积神经网络中起到“分类器”的作用。如果说卷积层、池化...原创 2020-03-06 11:11:45 · 28131 阅读 · 3 评论