机器学习：逻辑回归原理

之前的几篇博文，我们接触了不少带“回归”二字的算法，回归树、线性回归、岭回归，无一例外都是区别于分类算法，用来处理和预测连续型标签的算法。然而，逻辑回归，是一种名为“回归”的线性分类器，其本质是由线性回归变化而来的，一种广泛使用于分类问题中的广义回归算法。要理解逻辑回归从何而来，要先从线性回归开始。线性回归是机器学习中最简单的回归算法，对任意样本$i$，它写作一个几乎人人熟悉的方程：
$$z_i={\omega }_0+{\omega }_1{x}_{i1}+{\omega }_2{x}_{i2}+...+{\omega }_n{x}_{in}$$
ω被统称为模型的参数，其中ω₀被称为截距(intercept)，ω₁~ ω_n被称为系数(coefficient)，这个表达式，其实就和我们小学时就无比熟悉的$y=$