线性回归:
可以用损失函数来评估模型,这个损失函数可以选择平方损失函数, 将所有样本的x和y代入,
只要损失函数最小,那么得到的参数就是模型参数
逻辑回归:
可以使用似然概率来评估模型,将所有样本的x和y代入,
只要这个似然概率最大,那么得到的参数,就是模型参数
也可以理解为,其实概率模型不是用损失函数来评估模型,而是用概率来评估模型
只要所有样本的条件概率乘积(相互独立同分布)
常见的损失函数
机器学习或者统计机器学习常见的损失函数如下:
1.0-1损失函数 (0-1 loss function)
L(Y,f(X))={1,0,Y ≠ f(X)Y = f(X)
2.平方损失函数(quadratic loss function)
L(Y,f(X))=(Y−f(x))2
3.绝对值损失函数(absolute loss function)
L(Y,f(x))=|Y−f(X)|
4.对数损失函数(logarithmic loss function) 或对数似然损失函数(log-likehood loss function)
L(Y,P(Y|X))=−logP(Y|X)
逻辑回归中,采用的则是对数损失函数。如果损失函数越小,表示模型越好。