1. 回归函数
逻辑函数:
g(z)=11+e−z, g(z)∈(0,1)
回归函数:
表示在该
x
下
hθ(x)=P(y=1|x;θ)=1−P(y=0|x;θ)P(y=0|x;θ)+P(y=1|x;θ)=1
故
y
值可预测为:
进一步化简,即:
θTx≥0⇒y=1θTx<0⇒y=0
其中 θTx=0 (或 hθ(x)=0.5 )被称为决策边界(Decision Boundary)。
2. Cost 函数
J(θ)=1m∑i=1mCost(hθ(x(i)),y(i))Cost(hθ(x),y)=−log(hθ(x))Cost(hθ(x),y)=−log(1−hθ(x))if y = 1if y = 0
将两式合并,可得:
J(θ)=−1m∑i=1m[y(i)log(hθ(x(i)))+(1−y(i))log(1−hθ(x(i)))]
进行正则化以避免过拟合:
J(θ)=−1m∑i=1m[y(i)log(hθ(x(i)))+(1−y(i))log(1−hθ(x(i)))]+λ2m∑j=1nθ2j
以梯度下降法求得
θ
:
Repeat { θ0:=θ0−α 1m ∑i=1m(hθ(x(i))−y(i))x(i)0 θj:=θj−α [(1m ∑i=1m(hθ(x(i))−y(i))x(i)j)+λmθj]} j∈{1,2...n}