感知机、支持向量机、逻辑回归、全连接网络、神经网络、卷积神经网络学习总计

感知机 perceptron

感知机用来进行二分类，为什么说它是用来做二分类的呢？因为感知机算法是找出y=wx+b这条直线，这条直线能够把线性可分的数据分开，是分成两部分，因为他就是一个方程，只能是把一堆数据分成两部分，对于线性可分的数据来说这个方程不只有一个，可能会有很多方程都能够把这些数据分成两部分，但是哪个方程是最优解呢？感知机没有选最优解的算法。因为感知机定义的损失函数是用的误分类的原理，误分类数据越多，则损失值越大，通过改变w和b值来最小化损失值，当误分类数据没有的时候，这个值就是0，那么这样的w和b可能不是一个，可能会有多种。
支持向量机svm
支持向量机和感知机一样，也是分类线性可分的数据，支持向量机不仅划分数据，而且把两部分数据之间的距离最大时为最优，数据距离最大这个条件就使得感知机的解为唯一，这就是支持向量机。

逻辑回归

逻辑回归和感知机也是一样的，就是逻辑回归用的非线性函数是sigmoid函数，计算出类别的概率
而感知机的非线性函数是sign函数，例如把x带入计算出y，和真实标签y相减，如果是负值就是负样本，如果是正值就是正样本，感性认识就是在训练出来的直线的上方还是下方。

神经网络

把感知机后面连接上感知机，多层叠加，就是神经网络。多层感知机机是MLP

全连接神经网络

就是多层逻辑回归叠加，其实也可以说是多层感知机叠加，只是把感知机里面的激活函数或者说是非线性变换函数改为sigmoid或者tanh或者relu。

卷积神经网络

也是多层，只是把里面的感知机或者逻辑回归改成了卷积层操作，

小节一下：神经网络就是多层，不同的神经网络可以认为是改变了神经元的类型，神经元就可以认为是感知机、逻辑回归、卷积