- 博客(2)
- 收藏
- 关注
RSS订阅原创 自信息,KL散度(相对熵),交叉熵
自信息 《深度学习》P47 自信息：描述一个所含有的信息量， 概率越小的事件所有包含的信息量（也叫自信息）越大，概率越大的事件发生了所包含的自信息越小。自信息的数学定义： I(x)=−logP(x)\Huge I(x) = -logP(x)I(x)=−logP(x) 机器学习中log的底一般为为自然对数eee 自信息只是处理单个的输出，使用香农熵来表示对整个概率分布中的不确定性的总量的量化 H...
2018-09-29 11:39:01
181
原创 牛顿法（二阶梯度法）和拟牛顿法优化
相关阅读 <统计学习方法>李航，附录B. 牛顿法 将优化函数使用二阶泰勒展开中，x上标ķ表示第ķ次迭代 下列公式表示优化函数在 x k处展开，g T kxkXķx^kGŤķGķŤg_k^T 函数f（x）有极值的必要条件是一阶到时为0，即梯度向量为0.同时牛顿法利用极小点得的必要条件是 同时假设下次到达的点的一阶导数为0 对泰勒2阶展开求导得 因为要求...
2018-09-07 20:02:11
3615
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人