机器学习（二）广义线性模型：逻辑回归与Softmax分类

本文主要从概率论及广义线性模型的角度来谈线性回归，逻辑分类，Softmax分类三种常用学习方法的来源，基本假设及适用场景。

一.狭义线性模型及求解

狭义线性模型针对典型的回归问题
问题描述：给定一组训练样本$（x_{i},y_{i}）,i\in(1,M)$，其中$x_{i}$为N维列向量，$y_{i}$为实数，M为训练样本个数。要求对于新输入的$x$，预测出合理的$y$。
模型假设：
（1）训练样本的观测误差$\epsilon_{i}$符合正太分布，即$y_{i}=y_{reali}+\epsilon_{i}$，其中$\epsilon_{i}\sim N(0,\sigma^{2})$，且所有$\epsilon$独立同分布。该假设的另一含义是输出值$y_{i}$满足正态分布，即 yi∼N(yreali,σ