2021-07-25

最新推荐文章于 2022-08-24 11:35:19 发布

M1911616095

最新推荐文章于 2022-08-24 11:35:19 发布

阅读量221

点赞数

分类专栏：学习笔记文章标签：神经网络

本文链接：https://blog.csdn.net/M1911616095/article/details/119088152

版权

学习笔记专栏收录该内容

21 篇文章 0 订阅

订阅专栏

神经网络

M-P神经元
- 感知机
感知机
神经网络

M-P神经元

1.M-P神经元（模拟生物行为的数学模型）：接手n个输入（来自其他的神经元），并给各个输入赋予权重计算加权和，再跟自己特有的阀值 $θ$ 比较（通常用减法），最后经过激活函数（模拟“抑制”和激活）处理得到输出（一般输出传给下个神经元）
$y=f(\sum\limits_{x=1}^nw_ix_i-θ)=f(w^Tx+b)$
单个M-P神经元：感知机（sgn做激活函数）、对数几率回归（sigmoid作激活函数）多个M-P神经元：神经网络

感知机

1.感知机模型：激活函数送给你（阶跃函数）的神经元
$y=sgn(w^TX-θ)=\left\{ \begin{array}{rcl} 1 & & {w^T- θ ≥ 0}\\ 0 & & {w^T- θ < 0} \end{array} \right.$
其中， $x∈R^n$ 为样本向量，是感知神经网络模型的输入， $w,θ是感知机模型参数，w∈R^n为权重，θ为阈值$
2.再从几何角度来说，给定一个线性可分的数据集 $T$ ,感知机的学习目标是求得能对收据集 $T$ 中的正负样本完全正确划分的超平面，其中 $w^Tx-θ$ 即平面方程。n维空间的超平面 $w^Tx+b=0,其中w,x∈R^n）$
(1)超平面方程不唯一
(2)法向量 $w 垂直于超平面$
(3)法向量 $w$ 和位移项b确定一个超平面
(4)法向量 $w 指向的那一半空间$ 为正空间，另一半为负空间
3.感知机学习策略：随机初始化 $w, b$ 将全体训练样本代入模型找出误分类样本，假设此时误分类样本集合为 $M 恒属于 T$ ，对任意的一个误分类样本 $(w, y) \in M 来说$ ，当 $w^Tx-θ≥0$ 时，模型输出的值 $y = 1$ ,样本真实标记为 $y = 0$ ;反之，当 $w^Tx-θ<0$ 时模型输出值为 $y = 0$ ,样本真实标记为 $y = 1$ .综合两种情形可知，以下公式恒成立。
$y^1-y)(w^Tx-θ)≥0$
所以给定数据集 $T$ ,其损失函数可以定义为：
$L(w,θ)=\sum\limits_{x∈M}(y^1-y)(w^Tx-θ)$
显然，此损失函数是非负数，如果没有误分类点，损失函数值是O，而且，误分类越少，离平面越近，损失函数值就越小

感知机

3.1具体地，给定数据集。
$T={（x_1,y_1）(x_2,y_2)......(x_n,y_n)}$
$其中x_i∈R^n,y_i∈{0,1},求参数w，θ$ 使其为极小损失函数的解：
$min_{w,θ}L(w,θ)=min_{w,θ}\sum\limits_{x_i∈M}(y^1-y)(w^Tx-θ)$ 其中 $M 恒属于 T 为误分类样本集合。若将阈值 θ 看做一个固定输入为 - 1 的 “ 亚节点 ”$
即 $θ=-1*w_{n+1}=x_{n+1}*w_{n+1}$
根据该公式，可将要求的极小化问题进一步化解
$min_wL(w)=min_w\sum\limits_{x∈M}(y^1-y)w^Tx_i$
4.感知机学习算法：当误分类样本集合M固定时，那么可以求得损失函数 $L(w)=\sum\limits_{x_i∈M}(y^1-y_i)x_i$
感知机学习算法具体采用的是随机梯度下降法，也就是极小化过程中不是一次使M中所有误分点的梯度下降，而是一次随机选取一个误分类点使其梯度下降。所以权重 $w$ 的公式更新为
$w < - w + Δ w$
$Δw=-η(y^1-y_i)x_i=η(y_i-y_i^1)$
相应地， $w中某个分离w_i$ 的更新公式