人工智能策略
NanciZhao
这个作者很懒,什么都没留下…
展开
-
极大似然估计、极大似然函数
一、要解决什么问题或事件极大似然估计是一种针对一种现象(或事件),提取的一种解决方法这种现象是:其总体的分布类型已知,但是里面的参数未知。二、解决问题的思路,几何意义极大似然原理:概率大的事件在一次观测中更容易发生。反过来,在一次观测中发生了的事件其概率应该尽可能地大。设X1,X2,...,XN是取自总体X的一个样本,样本的联合密度(连续型)或联合概率函数(离散型)称为f(X1...原创 2019-09-06 10:36:51 · 3128 阅读 · 0 评论 -
最小二乘法
解决什么问题如何解决,几何意义公式推导原创 2019-09-06 10:41:01 · 97 阅读 · 0 评论 -
L1和L2正则项
一、正则解释所谓正则,其实是对损失函数的惩罚,所谓[惩罚],是指对损失函数中的某些参数(回归中指特征系数)做一些限制。它是结构风险最小化的一种策略实现,能够降低过拟合。结构风险最小化:在经验风险最小化的基础上(也就是训练误差最小化),尽可能采用简单的模型,以此提高泛化预测精度。我们常说L2正则化的结果是使得整体参数值变小,而L1正则化是使得参数变得稀疏起来,即部分参数为0。如下图所示:...原创 2019-09-14 16:17:38 · 379 阅读 · 0 评论 -
交叉熵损失函数
一、前提二分类问题中,真是样本的标签是[0,1],分别表示正类和负类。二、交叉熵损失函数的数学原理我们希望的是概率p(y|x)越大越好。首先,我们对p(y|x)引入log函数,因为log运算并不会影响函数本身的单调性。则有:我们希望logP(y|x)越大越好,反过来,只要-logP(y|x)越小就行了。那我们就可以引入损失函数,且令Loss = -logP(y|x)即可。则...原创 2019-09-29 17:33:35 · 412 阅读 · 0 评论