机器学习——线性回归、逻辑回归、神经网络

线性回归

线性回归是利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法，运用十分广泛。其表达形式为y = w’x+e，e为误差服从均值为0的正态分布。
如果回归方程只包含一个因变量，则被成为一元线性回归分析（这个我们在中学阶段接触过），含两个以上因变量则被称为多元线性回归分析。
在学习过程中，为表示我们建立的模型的准确度，我们用损失函数（代价函数）来表示这个模型与实际情况的误差。我们可以利用这个函数确定参数取何值时这个函数最符合实际。
我们可以求损失函数的导数，根据导数选择函数下降速度最快的方向“前进”，不断重复这个过程来求得损失函数最小值。这个方法就是梯度下降法。

逻辑回归（logistic回归）

逻辑回归其实就是在用回归的方法做分类问题。我们需要通过数据判断出现某一结果的概率。于是我们在特征与预测值直接加了一层函数

其中，x就是上面的多元函数w’x。我们利用这个函数将函数值控制在0到1之间，反应出的也就是出现正例（1）的概率了。

神经网络

模仿神经元的结构（树突，细胞核，轴突），我们建立了单层神经网络，由多个输入，计算以及一个输出组成。我们通过输入的多个已知属性（特征）来预测一个未知属性（目标）。输入的数据（aÿ