机器学习 day03(一)

逻辑斯蒂回归

研究的是分类，大多数都是二分类

一、二分类问题

X = <x1,x2,…,xn> 特征向量
W = <w1,w2,…,wn> 回归系数向量

b截距
y标签
如果标签y是连续的，则此时我们研究的问题就是回归问题，如果y和特征向量X成线性规律，则此时研究的问题就是线性回归，y和X的关系表达为：y=W*XT + b
二分类问题就是要把上面的这种回归问题转化成二分类。

例如：上节中预测糖尿病患病指数，这个就是回归问题；我们进一步的转化，根据患病指数来判断糖尿病检测结果是阴性还是阳性。

二分类问题的核心：希望把连续的标签y能够在实数R的范围内映射到集合{0,1}中。

如何来映射？如果要把y从实数集R映射到{0,1}中，首先要把y映射到区间(0,1)中

如何把一个区间R映射到区间(0,1)中，并且不改变原来函数的性质。（原函数映射到新的函数以后除了值域变成(0,1)，其他性质，比如单调性、作用域等均不变）

二、模型带入

三、最大似然估计

1. 损失函数（似然函数）
   
2. 求L(W,b)这个损失函数的最大值
   

四、优化算法–梯度下降法

1. 梯度问题
   

2. 梯度下降
   

【注意】梯度下降是一个无限迭代过程，在迭代的过程中，步长用于控制迭代节奏，步长如果太小，我们迭代到最低点用的次数就多（或者有的的迭代控制最大次数，步长过小会导致迭代结束的时候还未到最低点），步长也不能太大，太大的话容易错过最低点
我们实际的算法中，最大的迭代次数是由限制的，我们就需要通过调节步长来控制学习性能能。