逻辑回归

       逻辑回归是解决分类问题的，如垃圾邮件分类、预测肿瘤是良性还是恶性、预测某人的信用是否良好等等。逻辑回归中有一个函数叫做Sigmoid Function或者Logistic Function，其中θ是参数矩阵，x是特征矩阵。如下：

逻辑回归预测函数

决策边界

       可以看到下方图片，一条线把样本分为2部分，该线就是决策边界，把样本点代入该线方程，当小于0时和大于0时分别取一类。g(x)中的x即为决策边界。

逻辑回归代价函数

       逻辑回归的代价函数如果还是选取以前的形式就会是非凸函数，即有很多局部最小值，所以逻辑回归的代价函数会有所改变。

       当样本属于类别1时，代价函数如下图像：h表示预测值，cost表示误差。

      将逻辑回归的代价函数2个公式改变形式合并为一个公式，如下：

      一般用梯度下降法来求解逻辑回归，求导公式和过程如下：


       逻辑回归一般是用来解决二分类的问题的，那么遇到多分类怎么办呢？假设我们有三个分类，可以做三个分类边界，每次两两分类就可以处理多分类的问题。

逻辑回归正则化

正确率/召回率/F1指标

       下面列举一个例子，以上面的公式来求解正确率，召回率和F1值：