机器学习笔记一：Logistic回归

Logistic回归

一、概览：

二类分： $ y\in{0, 1} $ 的分类问题，0 表示负类，1表示正类

Logistic回归用于解决分类问题

二、假设函数：

sigmoid函数：

$$When0<=h_{\theta }(x)<=1$$

$$h_{\theta }(x)=g({\theta }^{T}x)$$

$$g(z)=\frac{1}{1+e^{-{\theta }^{T}x}}$$

三、决策边界:

h(x)正好等于0.5的区域

四、代价函数:

Logistic回归模型的拟合问题描述：

训 练 集 ： { ( x ( 1 ) , y ( 1 ) ) , ( x ( 2 ) , y ( 2 ) ) , . . . , ( x ( m ) , y ( m ) ) } 训练集：\{(x^{(1)}, y^{(1)}), (x^{(2)}, y^{(2)}), ... , (x^{(m)}, y^{(m)})\} 训练集：{(x(1),y(1)),(x(2),y(2)),...,(x(m),y(m))}

m 个训练样本

x ∈ ( x 0 , x 1 , . . . , x n ) T , x 0 = 1 , y ∈ { 0 , 1 } x \in (x_0, x_1, ... , x_n)^T, x_0 = 1, y \in\{ 0, 1\} x∈(x0​,x1​,...,xn​)T,x0​=1,y∈{0,1}

$$h_{\theta }(x)=\frac{1}{1+e^{-{\theta }^{T}x}}$$

$$如何选择参数\theta$$

Logistic损失函数：

$$Cost(h_{\theta }(x),y)=-log(h_{\theta }(x)),ify=1$$

$$Cost(h_{\theta }(x),y)=-log(1-h_{\theta }(x)),ify=0$$

$$J(\theta )=\frac{1}{m}\sum _{i=1}^{m}Cost(h_{\theta }(x^{(i)}),y^{(i)})$$

简化后：

$$Cost(h_{\theta }(x),y)=-ylog(h_{\theta }(x))-(1-y)log(1-h_{\theta }(x))$$