机器学习
lighting关
尽可能用通俗易懂的语言把事情讲清楚
展开
-
海森矩阵的特征值和特征向量的物理意义推导
一直想知道为什么海森矩阵的特征值就是描述了在某点特征向量方向上的凹凸性,找了一些资料,很多只是有个简单的结论,但没找到比较直观推导和证明。下面进行一波推导(非数学专业科班出身,推导过程比较直观不是很专业)。...原创 2020-12-05 11:00:18 · 2855 阅读 · 1 评论 -
神经网络多分类中为什么用softmax函数归一化而不用其它归一化方法
直观的解释是为了平衡概率分布,同时避免出现概率为0的情况(使得模型可以不用再做平滑化处理)。从反向传播的角度推导一波:softmax函数的形式为:P(y=i)=eWiX∑j=1NeWjXP ( y = i ) = \frac { e ^ { W _ { i } X } } { \sum _ { j = 1 } ^ { N } e ^ { W _ { j } X } }P(y=i)=∑j=...转载 2019-11-12 09:24:23 · 1158 阅读 · 0 评论 -
交叉熵损失函数总结笔记
交叉熵损失函数首先对于二分类,其交叉熵损失函数为:L=−[ylogy^+(1−y)log(1−y^)]L=-[y \log \hat{y}+(1-y) \log (1-\hat{y})]L=−[ylogy^+(1−y)log(1−y^)]其中,y=0或1y=0或1y=0或1,表示样本为负例还是正例;y^\hat{y}y^表示样本为正例的概率。1 交叉熵损失函数的数学原理二分类问...转载 2019-11-11 23:40:17 · 2126 阅读 · 0 评论 -
机器学习中的正则化
正则化的概念和原因简单来说,正则化是一种为了减小测试误差的行为(有时候会增加训练误差)。我们在构造机器学习模型时,最终目的是让模型在面对新数据的时候,可以有很好的表现。当你用比较复杂的模型比如神经网络,去拟合数据时,很容易出现过拟合现象(训练集表现很好,测试集表现较差),这会导致模型的泛化能力下降,这时候,我们就需要使用正则化,降低模型的复杂度。正则化的几种常用方法假设 xxx 是一个向量,...转载 2019-11-06 09:24:02 · 230 阅读 · 0 评论