机器学习2 分类

1 逻辑回归

结论：如果参数不多的话，用牛顿法，因为牛顿法能让每次误差平方级别减小，加速收敛。如果参数很多，使用梯度下降。

逻辑回归的loss函数

因为输出是0或者1，所以对于0类和1类，采取交叉熵能够将他们整合在一起

法1 使用极大似然+梯度下降

对于输出为0或者1的这种二分的情况，显然如果用线性回归，将是很糟糕的做法
1.用S型函数映射

将y用s型函数g(z)进行映射，得到的结果是介于0到1之间的。
2.将某一个y的概率表达成伯努利的形式

3.假设有一批y：y1…yn，然后用极大似然函数进行模拟，取log把乘方拿下来，求其导数，然后迭代θ


注意： 这个结果和线性回归的结果表面形式相同，但是这里的h(x)套了一个S型函数。
个人疑惑： 这里为什么不令导数为0，直接一步求θ？

法2 使用牛顿法

当前仅仅了解非向量形式的θ迭代，但是对于向量形式，仍待研究。而且即便是非向量形式，为何导数等于0就预示着L（θ）最大？
个人疑惑： 如下迭代式子暂未研究