deep learning
文章平均质量分 70
饺子醋
这个作者很懒,什么都没留下…
展开
-
理解交叉熵损失(Cross-Entropy)
理解交叉熵损失字符集编码字符集编码的意义在于将数据集进行有效压缩。 假设在一个文档中只出现了a、b、c、d、e 5种字符,其占比如下表: 字符 a b c d e 占比 0.1 0.1 0.2 0.2 0.4最容易想到的编码方式,5个字符,需要3个bit位,故: 字符 a b c d e 单个字符编码长度期望值 编码原创 2017-06-28 16:29:11 · 8522 阅读 · 1 评论 -
理解正则化项l1和l2的区别
防止过拟合的思路防止过拟合的思路就是让模型别那么复杂,简单点。 那么怎么能让模型简单点呢?有两个思路:减少参数的数量可想而知,参数越少模型越简单。减小参数的绝对值参数数量越少模型越简单,为什么参数绝对值越小模型越简单呢? 一个复杂的、容易过拟合的模型相比一个简单的、泛化能力更好的模型,往往表现为坑坑洼洼,没有后者平滑;平滑的模型,其导数绝对值(坡度)往往较小,而坑坑洼洼的模型,相对来说存在更多的原创 2017-11-05 20:53:26 · 1600 阅读 · 2 评论