机器学习第五章：神经网络
1.M-P神经元
一个用来模拟生物行为的数学模型：接受n个输入（通常是来自其他神经元），并给各个输入赋予权重计算加权和，然后和自身特有的阈值 θ \theta θ进行比较（做减法），最后经过激活函数模拟“激活”（结果>0）和“抑制”(结果<0),处理得到输出（通常是给下一个神经元）。
y = f ( ∑ i = 1 n w i x i − θ ) = f ( w T x + b ) y=f(\sum_{i=1}^{n}w_{i}x_{i}-\theta)=f(w^Tx+b) y=f(i=1∑nwixi−θ)=f(wTx+b)
单个M-P神经元：感知机（阶跃函数作激活函数）、对数几率回归（sigmoid函数作激活函数）
其中阶跃函数，它将输入值映射为输出值‘0’（对应抑制）或‘1’（对应兴奋）；
阶跃函数不连续、不光滑性质不太好，所以实际常用sigmoid函数;
sigmoid函数，它把可能在较大范围内变化的输入值挤压到（0，1）；
多个M-P神经元：神经网络
感知机（分类模型）
其激活函数为阶跃函数；
y = s g n ( w T x − θ ) = { 1 , w T x − θ ≥ 0 0 , w T x − θ < 0 y=sgn(w^Tx-\theta)=\begin{cases}1,w^Tx-\theta\geq 0\\ 0,w^Tx-\theta<0\end{cases} y=sgn(wTx−θ)={
1,wTx−θ≥00,wTx−θ<0
其中 x ∈ R n x\in R^{n} x∈Rn为样本的特征向量，是感知机模型的输入， w ∈ R n w \in R^{n} w∈Rn是权重， θ \theta θ 为阈值
从几何角度出发，给定线性可分(非线性的感知机不能分)的数据集T，感知机学习的目标是求得能对数据集T中正负样本完全正确划分的超平面，其中 w T x − θ w^{T}x-\theta wTx−θ即为超平面方程；
n维空间超平面（ w T x + b = 0 w^{T}x+b=0 wTx+b=0）
- 超平面方程不唯一；
- 法向量 w w w垂直于超平面；
- 法向量
最低0.47元/天 解锁文章
985
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
