[算法]逻辑回归模型理解

机器学习：逻辑回归模型理解
草图:

• ① 和决策树、朴素贝叶斯作用类似，logistc回归也是一种分类工具，其形式更加接近于神经网络，类似一个感知器的作用。首先进行一个假设，即假设y（最后的分类结果服从伯努利分布，），这样就引入了sigmod函数。即伯努利分布的表达形式1/(1+e^-z)，这里的z就是一个线性表达式，sigmod就是一个激活函数，所以和神经网络是类似的（只是神经网络的一个特例而已），同样的，这个是公式，其中的z包含了输入数据的特征向量，以及对应的系数向量），
• ② 那么如何训练呢？也和神经网络完全一样。利用交叉熵损失函数，通过梯度下降方式试图使得交叉熵最小，就完成了分类，其实这整个公式之前神经网络的时候也说过的，是形成了一个超平面，将一个在平面上不可分的问题，在高纬度空间的时候，是可以分的。所以基本上逻辑回归分类器就是一个感知器，神经网络的特例。