![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
神经网络
文章平均质量分 53
richardxp888
这个作者很懒,什么都没留下…
展开
-
简单描述模型的鲁棒性和泛化性的区别
鲁棒性鲁棒性:对于输入扰动或对抗样本的性能。加入小扰动,或进行数据增强。对于我们正常使用的模型,或者小数据集,需要进行数据增强,增强模型的鲁棒性,并且可以提升模型泛化能力,即在测试集上的性能。加入对抗样本训练。针对模型的安全,而找到对抗样本进行专门训练,提升模型在对抗样本的鲁棒性;但是会降低模型的泛化能力,在真实的测试集上性能下降。鲁棒性强调网络结构本身的特征,是网络结构和参数在扰动下保持其对信号处理特征的能力,用司机来举例,鲁棒性是司机只用一只手或者旁边有人骚扰情况下开车的能力。泛化性泛化原创 2022-03-30 15:35:38 · 7329 阅读 · 0 评论 -
深度学习调参tricks总结
寻找合适的学习率(learning rate)学习率是一个非常非常重要的超参数,这个参数呢,面对不同规模、不同batch-size、不同优化方式、不同数据集,其最合适的值都是不确定的,我们无法光凭经验来准确地确定lr的值,我们唯一可以做的,就是在训练中不断寻找最合适当前状态的学习率。比如下图利用fastai中的lr_find()函数寻找合适的学习率,根据下方的学习率-损失曲线得到此时合适的学习率为1e-2。推荐一篇fastai首席设计师「Sylvain Gugger」的一篇博客:How Do You原创 2022-03-30 14:10:01 · 326 阅读 · 0 评论 -
自注意力机制和BiLSTM相比有什么优点
尽管自注意力机制在这里和BiLSTM在处理词向量时候的目的都是一致的,那就是为原来割裂的词向量带来上下文的信息,自注意力机制优点为:第一,BiLSTM虽然确实比RNN改进了很多,但对于过长的序列依然没法很好地传输序列起点的信息,但是自注意力机制并没有依赖词与词之间的顺序,而是通过计算词与词之间的相似度去挖掘信息,所以就不存在这种信息丢失的情况;第二,BiLSTM这种处理序列的模型,如果不计算出前一个时刻的结果,就没法计算下一个时刻的结果,所以就造成了无法并行计算,但是自注意力机制因为计算相似度也是不存在这种原创 2021-06-02 00:05:45 · 4316 阅读 · 0 评论