logisticregression 参数_机器学习——逻辑斯谛回归（logistic regression）

逻辑斯谛回归(logistic regression)是统计学习中的经典分类方法，属于对数线性模型，即可以认为是被Sigmoid函数所归一化后的线性回归模型！

根本思想：逻辑斯谛回归的求解最后就是计算交叉熵，而交叉熵就是最大化极大似然函数，通常采用的优化方法是随机梯度下降。

先给出《统计学习方法》里的内容：

但我更喜欢李宏毅老师的版本，更加通俗易懂。根据李宏毅老师的课件，机器学习的算法都可以分为三个部分：

Step1：Function Set

(由于公式不能输入，我只能贴图片了~~~，编辑了好久的公式)

(是不是很像神经元。哈哈)

具体的公式推导如下:

Step 2：判断一个函数的好坏

有了函数集后，我们的下一步目标就是判断一个函数的好坏！这个时候就需要一个训练集(train data)。假想这个训练集是由我们定义的概率生成模型所产生的，每一个X都有一个所属的类别C1或者C2，如下所示。

给定一组w，b，其对应的概率生成模型就确定了，产生的训练集也相对应确定了。要产生上述的训练集，它的机率就通过下面这个公式计算：

下面需要做一个数学的转换推导，详细内容如下：

Step 3：找到最好的function

当我们有了优化目标后，最后一步就是去找最好的function，优化方法自然是随机梯度下降。下面给出梯度的推导过程：

根据随机梯度下降法，找到最好的参数。在这里，为了方便，将参数向量和输入向量加以扩充，仍然记作w,x，即w＝(w(1),w(2),…,w(n),b)^T，x＝(x(1),x(2),…,x(n),1)^T。

我在学习的时候是李宏毅老师的课程和《统计学习方法》一起学的，结果发现里面的公式居然不一样，心想：我擦，居然有2个不同的结果，也是难受。后来细想才发现，原来二者是一个东西，只是表达的方式不一样(我在怀疑是不是老师也需要查重，哈哈。所以才学我们论文查重时，一样的结果用不同的方式来表达)。

这两个公式，我都跑过程序，结果是一样的。

上面都是二分类的问题，对应到多分类其实也一样，李宏毅老师的课件上的例子非常好理解，这里直接贴出来给大家分享。用的是softmax函数算出的概率作为分类的标准，谁的概率大，就属于哪一类。

下面是一个小的总结，也是逻辑斯谛回归的本质：逻辑斯谛回归的求解最后就是计算交叉熵，而交叉熵就是最大化极大似然函数，通常采用的优化方法是随机梯度下降。

这里也贴出代码，仅供参考！

如有错误或者表述不当的地方，请大家一定指出来，相互学习，相互进步。

结束！(当然，点关注一波也是可以的。)