![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
小君不忧
西工大硕士
展开
-
二次范数的最速下降方法理解与分析
最近在看Stephen Boyd的《凸优化》,对其中采用二次范数的最速下降方法,书中没有详细的推导,现分析如下,本人水平有限,如有错误,欢迎指正!首先对二次范数的定义和对偶范数进行说明1. 二次范数的定义对于,P的二次范数如下:推导如下:2. 二次范数的对偶范数即是:对于给定的z和P,方向大小已定,要使上式內积最大,要和方向一致,且3. 二次范数的规范化的最速下降方法...原创 2018-07-14 17:24:17 · 3997 阅读 · 6 评论 -
最大似然函数、交叉熵和经验分布的关系
最大似然函数、交叉熵和经验分布的关系经验分布最大似然函数能推导出交叉熵,他们俩本质是一回事,推导的桥梁就是经验分布。经验分布的定义:KaTeX parse error: No such environment: equation at position 8: \begin{̲e̲q̲u̲a̲t̲i̲o̲n̲}̲\widehat p_{da…这是对连续函数而言的,其中xkx_kxk...原创 2019-02-27 17:18:02 · 2183 阅读 · 0 评论 -
决策理论
决策理论:最小错误率和最小期望误差最小错误率这里是对分类问题而言的,现在考虑二分问题,对于一个输入向量,出现错误的情况是,真是标签是C1C_1C1的被分到C2C_2C2上,反之亦然。因为真是标签不知道,所以我们用概率来表达:KaTeX parse error: No such environment: split at position 8: \begin{̲s̲p̲l̲i̲t̲}...原创 2019-02-27 23:27:38 · 522 阅读 · 0 评论