这篇博客深入解释了线性回归模型的损失函数J(Θ)=1/2∑i=1#samples(hΘ(Xi)−yi)2的概率含义。通过概率解释，指出误差εi服从均值为0，方差为σ2的正态分布，依据中心极限定理和极大似然估计，推导出成本函数，并强调在机器学习中，合理的假设比完全正确的假设更重要。
在广义线性模型中留了个小彩蛋，今天就把这个彩蛋补完啦！
这篇博客主要解释了怎么去构造cost function(损失函数)
回顾线性模型
在广义线性模型中已经推导出线性回归模型的假设函数(hypothesis)：
h Θ ( X ) = Θ T X + b h_Θ(X) = Θ^TX + b hΘ(X)=ΘTX+b
其中 Θ = [ θ 1 , θ 2 , … … θ m ] ; X = [ x 1 , x 2 , … … , x m ] Θ=[θ_1,θ_2,……θ_m]; X = [x_1,x_2,……,x_m] Θ=[θ1,θ2,……θm];X=[x1,x2,……,xm],b为偏置单元(bias unit)，是一个常数！
这篇博客就是来解释为什么cost function(损失函数)是 J ( Θ ) = 1 / 2 ∑ i = 1 # s a m p l e s ( h Θ ( X i ) − y i ) 2 J(Θ) = 1/2\sum_{i =1 }^{\#samples} (h_Θ(X^i) - y^i)^2 J(Θ)=1/2∑i=1#samples(hΘ(Xi)−yi)2
概率解释
符号说明：
y i y^i yi：第i个训练样本的真实值；
h Θ ( x i ) h_Θ(x^i) hΘ(xi): 第i个训练样本的预测值，也记为 y ^ \hat{y} y^；
ε i ε^i εi: 误差（可能是由各种无法预知的状况引起的）
假设 y i = h Θ ( x i ) + ε i y^i = h_Θ(x^i) + ε^i yi=hΘ(xi)+εi
也就是说真实值与预测值之间存在有误差ε
其中ε~ N ( 0 , σ 2 ) N(0,σ^2) N(0,σ
最低0.47元/天 解锁文章
1745
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
