自学机器学习笔记（七）

人工神经网络（仿生学派典型代表）

根据神经元模型得到mp模型

 

机器学习中最常用的人工神经网络和深度学习的基本结构单元仍然是mp模型

任务：

找出一个向量W和一个常数b，使得对i=1~N

 训练数据Xi满足上述条件叫做这个数据获得了平衡

 感知机算法寻找w，b的方法

（1）随机选择w和b

（2）取一个训练样本（X,Y)

            （i）若wᵀ+b>0,且y=-1,则：w=w-X b=b-1

            （ii）若wᵀ+b<0,且y=+1,则：w=w+x b=b+1

(3) 再取另一个(X,Y)，回到（2）

（4）终止条件：直到所有输入输出对(X,Y)都不满足（2）中的条件，退出循环

当y=-1

 这样使得x距离平衡状态至少近了一点

当y=+1

 

 训练数据线性可分，感知机算法就一定可以停下来

 我们可以把原任务简化表达为：

 

感知器算法收敛定理：

此与训练集线性可分等价

 运用以上感知器算法

 感知器算法的意义

支持向量机算法画出的平面往往比感知器算法画出的平面好一点

假设一个系统 X：输入，Y：输出，f(X,θ):机器学习模型，其中θ为待学习的参数

我们现在有一组训练数据集（Xᵢ，Yᵢ），i=1~N

目的：寻找预测函数f(X,θ）

过程：运用数据集训练数据集（Xᵢ，Yᵢ），来求出θ

在感知器算法中 待估计算法θ=（W,B)，而f（X，θ）=sgn（wᵀXᵢ+b）

假设:X为M维的特征向量，θ的维度为M+1维

注：训练数据比预测函数更复杂的情况叫模型欠拟合

训练数据的复杂度低于预测函数的情况叫模型过拟合

过拟合情况会出现训练数据在预测函数上非常精确，但是在测试数据上很糟糕的局面

因此我们要设计复杂的预测函数f使它与复杂的训练数据相适应

感知器算法的优势：我们只需要储存w和b，根据送来的数据不断调整w和b，而支持向量机算法是一种全局算法需要大量的计算。