逻辑回归(Logistic回归)

定义

logistic回归又称logistic回归分析,是一种广义的线性回归分析模型,常用于数据挖掘,疾病自动诊断,经济预测等领域。例如,探讨引发疾病的危险因素,并根据危险因素预测疾病发生的概率等。

函数

Sigmoid function、Logistic function:

  g\left ( x \right )=\frac{1}{1+e^{-\theta^{T} x}} ,\, \, \, \, \, \, 0< g\left ( x \right ) <1

性质

值域:(0,1)(0,1)

导数:g^{'}(x)=g(x)(1-g(x))  其中原函数为  g\left ( x \right )=\frac{1}{1+e^{-x}}

图像

      

\begin{cases} x\rightarrow -\infty ,g\left ( x \right )\rightarrow 0 \\ x\rightarrow +\infty ,g\left ( x \right )\rightarrow 1 \end{cases}

决策界限

如果用于分类(二分类),我们假设当g\left ( x \right )\geq 0.5 \left ( x\geq 0 \right )时,y=1,预测为正类;

d\left ( x \right )< 0.5 \left ( x< 0 \right )时,y=0,预测为反类。

下面直接用吴恩达视屏里的图了。

 

 

代价函数

 

J(\theta )=\frac{1}{m}\sum_{i=1}^{m}Cost(g(x^{(i))}),y^{(i)}) \\ Cost(g(x),y))=\left\{\begin{matrix} -log(g(x)) & if \ y=1 \\ -log(1-g(x)) & if \ y=0 \end{matrix}\right.

为了使代价函数最小,即   \min_{\theta}J(\theta)

梯度下降

这里仍然采用梯度下降来拟合分类函数中 \theta 的值。

\theta_{j}=\theta_{j}-\alpha \frac{\partial }{\partial \theta_{j}}J(\theta) \\

其中    \frac{\partial }{\partial \theta_{j}}J(\theta)=\frac{1}{m}\sum_{i=1}^{m}(g(x^{(i)})-y^{i})x_{j}^{(i)}

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值