深度学习笔记: 逻辑回归模型和二元分类

多元分类（classification）

在机器学习中，多元分类 是将示例归类为多个（大于两个）类别中的一类（将示例归为两类中的一类被称为二元分类）。

一些分类算法自然地允许使用超过两类，另一些自然是二元分类算法；然而，它们可以通过多种策略转化为多元分类。

多元分类不应该和多标签分类相混淆，多标签分类要为每个示例预测多个标签，即一个示例可以同时被归为多个类别。

所以，要解决多元分类问题，只需将其简化为多个二元分类问题。

而顾名思义，二元分类就是给定一个对象 $x$,根据标签给它划分为A类还是B类

逻辑回归（Logistic regression）

逻辑回归就是一种解决二分类问题的机器学习方法，说到逻辑回归，就不得不提到线性回归，逻辑回归（Logistic Regression）与线性回归（Linear Regression）都是一种广义线性模型（generalized linear model）。

线性回归

线性回归（Linear regression）是利用称为线性回归方程的最小二乘函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析。这种函数是一个或多个称为回归系数的模型参数的线性组合。只有一个自变量的情况称为简单回归，大于一个自变量情况的叫做多元回归。
线性回归分析用于研究一个变量与另一个变量或多个变量之间的关系。

以双变量为例，变量X和变量Y之间可以有三种关系：正线性相关、负线性相关、不是线性相关（随机）。

线性回归的表达式如下：
$f(\mathbf{x})={\mathbf{w}}^T\mathbf{x}+b$

线性回归对于给定的输入$\mathbf{x}$ ，输出的是一个数值 y ，因此它是一个解决回归问题的模型。也就是说，我们能通过线性回归，知道x和某个特征的相关度。

但是对于二分类问题，我们需要的结果并不是数值，而是0 or 1这样能够给对象分类的布尔值，如何能解决这个问题呢？

一个常用的解决方法是设置一个阈值，大于这个阈值，则分为A类，小于则分为B类
采用这种方法的模型又叫做感知机（Perceptron）。

而另一个方法就是不去直接预测标签，而是去预测标签为A概率，我们知道概率是一个[0,1]区间的连续数值，那我们的输出的数值就是标签为A的概率。一般的如果标签为A的概率大于0.5，我们就认为它是A类，否则就是B类。这就是逻辑回归 (Logistics Regression)。

逻辑回归 (Logistics Regression)

我们知道，线性回归$f(\mathbf{x})=$