机器学习：感知机

感知机是二分类的线性分类模型，其输入是样本的特征向量，输出是样本的类别。感知机对应于输入空间中将样本划分为两个类别，属于判别模型。感知机学习旨在求出将训练数据进行线性划分的分离超平面，为此，导入基于误分类的损失函数，利用梯度下降法对损失函数进行极小化，求得感知机模型。
1、感知机模型
假设输入空间是$X\subseteq {\mathbb{R}}^n$，输出空间是 Y = { + 1 , − 1 } Y=\left \{ +1,-1 \right \} Y={ +1,−1}。输入$x\in X$表示样本的特征向量，对应于输入空间的点，输出$y\in Y$表示样本的类别。由输入空间到输出空间的函数如下：

称为感知机，其中权值$\omega$和偏置b是感知机模型的参数。
感知机是一种线性分类模型，属于判别模型，感知机的假设空间定义在特征空间中所有线性分类模型。
2、多层感知机及其BP算法
Deep Learning 近年来在各个领域都取得了 state-of-the-art 的效果，对于原始未加工且单独不可解释的特征尤为有效，传统的方法依赖手工选取特征，而 神经网络可以进行学习，通过层次结构学习到更利于任务的特征。得益于近年来互联网充足的数据，计算机硬件的发展以及大规模并行化的普及。本文主要简单介绍 MLP ，也即为Full-connection Neural Network ，网络结构如下，分为输入，隐层与输出层，除了输入层外，其余的每层激活函数均采用 sigmod ，MLP 容易受到局部极小值与梯度弥散的困扰，如下图所示：

MLP 的 BP 算法基于经典的链式求导法则，首先看前向传导，对于输入层有 $I$ 个单元， 对于输入样本 (x,z) ，隐层的输入为：


这里函数f为 非线性激活函数，常见的有sigmod 或者是 tanh，本文选取 sigmod 作为激活函数。计算完输入层向第一个隐层的传导后，剩下的隐层计算方式类似，用$h_l$ 表示第$l$层的单元数：


对于输出层，若采用二分类即 logistic reg