![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
bineleanor
这个作者很懒,什么都没留下…
展开
-
常见的pooling策略
常见的pooling策略参考资料:https://blog.csdn.net/TgqDT3gGaMdkHasLZv/article/details/86215037https://blog.csdn.net/wangyangzhizhou/article/details/76034219https://www.cnblogs.com/ying-chease/p/8658351.htmlp...原创 2019-03-28 10:35:11 · 3292 阅读 · 0 评论 -
Tensorflow之tfrecord加载数据与模型训练
tfrecord加载数据与模型训练参考代码:https://github.com/NLPLearn/QANet1. 处理数据,将给定数据处理成输入数据的格式# 1.处理数据,将给定的数据处理成输入数据的格式;def process_file(file_name, data_type, training=True): print("Generating {} examples..."...原创 2019-07-21 22:20:11 · 4116 阅读 · 3 评论 -
浅析交叉熵损失函数
浅析交叉熵损失函数首先抛出交叉熵损失函数分别用于二分类和多分类的损失函数表达式子:二分类交叉熵损失函数L=−[ylogp+(1−y)log(1−p)]L = -[ylogp +(1-y)log(1-p)]L=−[ylogp+(1−y)log(1−p)]其中yyy表示样本标签,ppp表示对应样本标签预测为正的概率如: 当y=0时y=0时y=0时,L=−logpL=-logpL=−logp,...原创 2019-08-11 18:22:02 · 944 阅读 · 0 评论 -
Label Smoothing --- 防止过拟合
Label Smoothing 是一种正则化的方法,对标签平滑化处理以防止过拟合在分类模型当中,经常对标签使用one-hot的形式,然后去预测样本属于每一个标签的概率,如果不考虑多标签的情况下,选择概率最大的作为我们的预测标签。然而在实际过程中,这样对标签编码可能存在两个问题:(1)可能导致过拟合;(2)模型对于预测过于自信,以至于忽略到可能的小样本标签。交叉熵损失函数的实际是在最小化预...原创 2019-08-11 19:38:44 · 4358 阅读 · 0 评论 -
样本不均衡的处理方法
样本不均衡样本不均衡指的是给定数据集中有的类别数据多,有的数据类别少,且数据占比较多的数据类别样本与占比较小的数据类别样本两者之间达到较大的比例。常见解决办法数据层面:采样,数据增强,数据合成等;算法层面:修改损失函数值,难例挖掘等。1. 数据层面数据层面主要包括对数据的采样与合成操作,采样指的是以一定的概率对数据进行选择,合成指的是重新生成与数据集样本数据类似的样本将其添加到原始...原创 2019-08-11 21:12:43 · 4312 阅读 · 1 评论