函数原型
h θ ( X ) = 1 1 + e − θ T X . . . 称 h θ ( X ) 为 y = 1 的 概 率 。 h_\theta(X)=\frac{1}{1+e^{-\theta^TX}}...称h_\theta(X)为y=1的概率。 hθ(X)=1+e−θTX1...称hθ(X)为y=1的概率。
决策界限的定义
根
据
函
数
表
达
式
可
知
当
z
>
=
0
时
y
>
=
0.5
当
z
<
0
时
y
<
0.5...
z
=
θ
T
X
,
y
=
h
θ
(
X
)
根据函数表达式可知当z>=0时y>=0.5当z<0时y<0.5...z=\theta^TX,y=h_\theta(X)
根据函数表达式可知当z>=0时y>=0.5当z<0时y<0.5...z=θTX,y=hθ(X)
故
直
线
z
=
θ
T
X
为
决
策
界
限
故直线z=\theta^TX为决策界限
故直线z=θTX为决策界限
代价函数
线性回归的代价函数为:
J
(
θ
)
=
2
1
m
∑
i
=
1
m
(
h
θ
(
x
i
)
−
y
(
x
i
)
)
2
J(\theta)=2\frac{1}{m}\sum_{i=1}^{m}(h_\theta(x^i)-y(x^i))^2
J(θ)=2m1i=1∑m(hθ(xi)−y(xi))2
我们另:
J
(
θ
)
=
1
m
∑
i
=
1
m
C
o
s
t
(
h
θ
(
x
i
)
,
y
(
x
i
)
)
J(\theta)=\frac{1}{m}\sum_{i=1}^{m}Cost(h_\theta(x^i),y(x^i))
J(θ)=m1i=1∑mCost(hθ(xi),y(xi))
C
o
s
t
为
:
Cost为:
Cost为:
C
o
s
t
(
h
θ
(
x
i
)
,
y
(
x
i
)
)
=
{
−
l
o
g
(
h
θ
(
x
)
)
i
f
y
=
1
−
l
o
g
(
1
−
h
θ
(
x
)
)
i
f
y
=
0
Cost(h_\theta(x^i),y(x^i))=\begin{cases} -log(h_\theta (x))& \text if&y=1\\-log(1-h_\theta (x))& \text if&y=0\end{cases}
Cost(hθ(xi),y(xi))={−log(hθ(x))−log(1−hθ(x))ifify=1y=0
为什么这样选择?
− l o g ( 1 − h θ ( x ) ) 图 像 为 : -log(1-h_\theta (x))图像为: −log(1−hθ(x))图像为:
其中
h
θ
(
X
)
=
1
1
+
e
−
θ
T
X
.
h_\theta(X)=\frac{1}{1+e^{-\theta^TX}}.
hθ(X)=1+e−θTX1.
当
h
θ
(
x
)
h_\theta (x)
hθ(x)无限靠近与0时,代价函数为无穷大。
故
h
θ
(
x
)
=
0
表
示
y
=
1
的
概
率
为
0
,
与
条
件
y
=
1
完
全
矛
盾
。
故
给
该
算
法
加
大
惩
罚
。
h_\theta (x)=0表示y=1的概率为0,与条件y=1完全矛盾。故给该算法加大惩罚。
hθ(x)=0表示y=1的概率为0,与条件y=1完全矛盾。故给该算法加大惩罚。
当
h
θ
(
x
)
h_\theta (x)
hθ(x)无限靠近与1时,代价函数为0。
故
h
θ
(
x
)
=
1
表
示
y
=
1
的
概
率
为
100
%
,
与
条
件
y
=
1
完
全
符
合
。
h_\theta (x)=1表示y=1的概率为100\%,与条件y=1完全符合。
hθ(x)=1表示y=1的概率为100%,与条件y=1完全符合。
− l o g ( 1 − h θ ( x ) ) 图 像 为 : -log(1-h_\theta (x))图像为: −log(1−hθ(x))图像为:
证明方式与图1类似…
合并代价函数
J ( θ ) = 1 m ∑ i = 1 m ( − y l o g ( h θ ( x i ) ) − ( 1 − y ) l o g ( 1 − h θ ( x i ) ) ) J(\theta)=\frac{1}{m}\sum_{i=1}^m(-ylog(h_{\theta}(x^i))-(1-y)log(1-h_{\theta}(x^i))) J(θ)=m1i=1∑m(−ylog(hθ(xi))−(1−y)log(1−hθ(xi)))
使用梯度下降法迭代
公式与线性回归公式相同。
证明参考:https://blog.csdn.net/qq_29663489/article/details/87276708
多分类问题
思想:二分,归类于y=1概率的的一类。
如图,三个函数同时处理,得到
h
θ
(
X
)
h_\theta(X)
hθ(X),故点归类于
h
θ
(
X
)
h_\theta(X)
hθ(X)大的一类。