逻辑回归的一点理解

• 线程回归

利用数理统计中 回归 分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。

线性归回方程：

 theta是我们要学习的权重，x表示已知的自变量。其向量化表示如下：

例如预测房价走势，我们拥有的数据有：小区位置，是否学区，楼层，户型，交通以及小区单价，预测小区某个房源的价格。

如果我们想知道该房源是否是优质（性价比高的房源），我们在各大中介都可以看到优质房源，知道符合一定指标算是优质房源，如果使用线性回归做分类呢。

需要解决的问题有:

1、如果单一用阀值确定，那么阀值如何设？

2、上下边界未知，即值的范围是无法限定

3、如果设定阀值，有些异常数据将会影响模型，使得模型过拟合

• 逻辑回归分类

解决上述问题，引入sigmoid函数，将连续的值映射到(0,1)之间，加上阶跃函数就是一个分类模型。

• sigmoid函数

其中将 z= 带入方程，就是我们想要的逻辑回归方程。

• 代价函数（损失函数）
  

一般情况下使用误差平方：

指模型的输出值，y指真实值。将 带入式子发现非凸函数，有很多局部最优解。

我们希望是凸函数，这样我们使用梯度下降法，找到最优w。

利用极大似然估计变换得到代价函数如下：

如果样本的值是1的话，估计值h(x)越接近1付出的代价就越小，反之越大；这样没错迭代能看到学习的模型

的拟合程度。

根据梯度下降法优化w

wj:=wj+η(y(i)−ϕ(z(i)))x(i)j,for i in range(n)

可以看做每次迭代，wj权重沿梯度方向走η（学习率）长度。