大白话深度学习一-感知机

本文讲述感知机的原理

最早的神经网络叫感知机，有单个隐含层的感知机可以用来拟合任何的线性函数，只能做二分类，多个输入，单个输出。多个隐含层的感知机可以解决非线性问题。 

如图，a1、a2...an是输入，w1、w2...wn是输入连接到感知机的权重，b为偏置，f为激活函数，t为感知机的输出。写成数学表达式为：

因为，感知机只能二分类，f的数学表达式如下：

感知机的训练目标是找到一个超平面来把把两堆数据分开，而方法就是使被错误分类的数据到这个超平面的距离最小。

三维的直角坐标系中，平面方程一般表示为：Ax+By+Cz+D = 0（里边的A、B、C、...、N 为不全为 0 的实数），直角坐标系上的点到该平面的距离为 |(Ax1+By1+Cz1+D) |/ (√A^2 + B^2 + C^2)，这是三维空间，如果推广到 n 维空间，超平面的表达式为 Ax+By+Cz+...+Nn +D = 0，那么空间中的一点到超平面的距离为|(Ax1+By1+Cz1+...+Nn1+D) |/ (√A^2 + B^2 + C2+...+N2)。

而在感知机中，我们一般把超平面方程写成：wx+b=0，如下图：

则被错误分类的数据到超平面的距离为：

对于一个误分类数据 (xi,yi)，当 w xi + b > 0 时，yi < 0;当 w xi + b < 0 时，yi > 0;所以 yi*(w xi + b) >0，所有误分类点到分离超平面的距离为：

因为||W||是常数不影响上式的正负，所以可以转换成如下：

通过不断迭代来最小化该值来更新参数。