sailist的记录站

统计学习模型三要素模型： 是在参数空间中的参数影响下，从一个空间到另一个空间的映射 f(x)f(x)f(x)假设空间（函数空间）：函数的所有可能表示，如f(x)=ax+bf(x) = ax+bf(x)=ax+b，假设空间中确定的函数 f 的输出值被称为预测值。参数空间：是一个 n 维的欧式空间，函数空间一般由参数空间来确定。如上面的参数空间就是二维的欧式空间。策略： 度量预测值和真实值...

EM算法无隐变量下，极大似然函数为：L(θ)=∏iP(xi;θ)L(\theta) = \prod_iP\left(x^{i};\theta\right)L(θ)=i∏​P(xi;θ)含隐变量时候，变为：L(θ,z)=∏i∑jP(xi,zi;θ)L(\theta,z)=\prod_i\sum_jP(x^{i},z^{i};\theta)L(θ,z)=i∏​j∑​P(xi,zi;θ)取...

李航老师的书中写的不是很详细，想了一番参考了一下这个博客，终于明白了这个等价性是怎么来的。原始最优化问题合页损失函数等价性证明书中，令实际上我觉得这个表述不对，等式应该直接按后文书中给出的，如下表示：[1−yi(w⋅xi+b)]+=ξi,ξi⩾0(7.641)\left[1-y_{i}\left(w \cdot x_{i}+b\right)\right]_{+}=\xi_{i}...