深度学习
lgb_love
这个作者很懒,什么都没留下…
展开
-
信息论概念
--来自百度百科信息熵,是随机变量或整个系统的不确定性。熵越大,随机变量或系统的不确定性就越大。相对熵,用来衡量两个取值为正的函数或概率分布之间的差异。交叉熵,用来衡量在给定的真实分布下,使用非真实分布所指定的策略消除系统的不确定性所需要付出的努力的大小。相对熵=交叉熵-信息熵: 信息熵通常,一个信源发送出什么符号是不确定的,衡量它可以根据其出现的概率来度量。概率大,出现机会多,不确定性小;反之就...原创 2018-05-21 16:24:10 · 1295 阅读 · 0 评论 -
L1比L2更稀疏
https://www.cnblogs.com/fanhaha/p/7104997.htmlL1比L2更稀疏1. 简单列子: 一个损失函数L与参数x的关系表示为: 则 加上L2正则化,新的损失函数L为:(蓝线) 最优点在黄点处,x的绝对值减少了,但依然非零。 如果加上L1正则化,新的损失函数L为:(粉线) ...转载 2018-06-14 17:07:04 · 1432 阅读 · 0 评论