机器学习
文章平均质量分 88
iambabao
这个作者很懒,什么都没留下…
展开
-
机器学习笔记:各种熵
在机器学习中通常会使用各种熵来描述分布与分布之间的关系,如条件熵和交叉熵等,也有直接优化熵的模型,如最大熵模型。这篇文章简单总结一下之前见到过的一些熵相关的概念。信息量定义假设有离散随机变量 XXX 满足分布 P(X=xi)=piP(X = x_{i}) = p_{i}P(X=xi)=pi , 定义事件 X=xiX = x_{i}X=xi的信息量为I(xi)=−log(pi)I(...原创 2018-10-01 17:11:48 · 427 阅读 · 0 评论 -
机器学习笔记:正则化项
在机器学习算法中如果只使用经验风险最小化去优化损失函数则很可能造成过拟合的问题,通常我们要在损失函数中加入一些描述模型复杂程度的正则化项,使得模型在拥有较好的预测能力的同时不会因为模型过于复杂而产生过拟合现象,即结构风险最小化正则化项一般是模型复杂程度的单调递增函数,因此可以使用模型参数向量的范数来计算范数在数学上的定义更为广泛,大家可以看看别的资料。这里只涉及了一些和机器学习有关的定义,可能...原创 2018-10-02 16:54:35 · 2228 阅读 · 0 评论