【算法原理】从模型假设看线性回归和逻辑回归

摘要

本文从算法的模型假设方面，对线性回归、逻辑回归和感知器做一下简要对比，说明了它们之间的联系。

符号约定

1）样本集合: $(x^i, y^i)\;(1 \leqslant i\leqslant m)$，其中$i$表示一共$m$个样本中的第$i$个
2）$x^i=(x_{0}^{i},x_{1}^{i},x_{2}^{i},\cdots ,x_{n}^{i}) (x_{0}^{i}=1)$，表示输入向量，其中$x_{0}^{i}=1$是为了统一格式
3）$y^i$为标量，代表第$i$个样本对应的值（或分类问题中的label）
4）$\theta =(\theta _{0},\theta _{1},\theta _{2},\cdots ,\theta _{n})$，表示待求参数
5）$x \cdot \theta^{T}=\theta_0+\sum_{j=1}^{n}\theta _{j}x_j=0$，表示$n$维空间中的一个超平面

问题描述

已知$m$个样本$(x^i, y^i)\;(1 \leqslant i\leqslant m)$，当