logistics regression原理与线性回归

逻辑回归

从分类问题思考:线性回归与逻辑回归

分类问题
0:Negative class
1:Positive Class
二分类问题开始
将已知数据分类 0 1
采用算法 线性回归
假设函数 hx = theta0 + theta1*x1 + ... + thetaN * xN
设置阈值---什么情况下属于1类 or 0类
        > 0.5 1
        < 0.5 0
所有的点 
对于分类问题应用线性回归并不是好办法

还有一个有趣的事情:
classification： 0 or 1
but 假设函数可以 大于1 or 小于0

接下来使用逻辑回归算法进行分类
logistic regression 逻辑回归
逻辑回归:实际上是一种分类算法

机器学习三要素 模型 策略 算法

逻辑回归假设函数 – 模型

logistic regression model
目标:
    将假设函数值限定在[0,1]之中
    如果 >= 0.5 属于 1类
    反之 属于0类
    want 0< hx < 1

逻辑回归的假设函数的表达式是什么?
逻辑回归的假设函数与线性回归的假设函数不同 
带入了越阶函数 sigmoid function
线性回归hx = theta^T*x
逻辑回归hx = g(theta^T*x)

逻辑回归 – 从线性回归假设函数逐步优化

假设函数 : $h\theta(x) = \theta^T x$ 逻辑回归的目标是分类 输出 0 or 1 引入 sigmoid function 即: $h\theta(x) = g(\theta^T x)$ $g(z) = \frac {1}{1+\rho^(-z)}$ 模型的解释 对于新输入样本x的y等于1的概率的估计值 即为: $g(z) = \frac {1}{1+\rho^(-\theta^T x)}$

也可以用概率公式来解释
$p(y=1|x;\theta) = g(z)$
$p(y=0|x;\theta) + p(y=1|x;\theta) = 1$
$p(y=0|x; \theta) = 1 - p(y=1|x;\theta)$

总结: 
    逻辑回归的假设函数是什么
    定义逻辑回归的假设函数的公式是什么

逻辑回归模型假设函数的推导

如何从解释该模型 模型转化的思路

决策边界

决策边界：假设函数在计算什么
目标:预测分类问题
suppose predict “y=1” if $h\theta(x) >= 0.5$
即 $\theta^T x >= 0$
“y=0” if $h\theta(x) < 0.5$
即 $\theta^T x < 0$

$h\theta(x) = g(\theta^T x) = p(y=1|x;\theta)$
g(z)