深度学习入门笔记3 自适应神经元

自适应线性神经元

概念

自适应线性神经网络（ADALINE——Adaptive Linear Neuron）是在感知器的基础上进行的一种改进。激活函数采用线性连续的函数来代替阶跃函数。

自适应神经元&感知器

• 激活函数：自适应神经元使用线性激活函数，感知器使用阶跃函数。
• 误差更新：自适应神经元在最终结果前进行更新，感知器在最终结果后进行更新。
• 损失函数：自适应神经元使用SSE最为损失函数，感知器没有损失函数。
• 应用：自适应神经元可以进行分类与回归（可以输出连续值或离散值），感知器不能进行回归。

计算公式

$z=w1\ast x1+w2\ast x2+\dots \dots +wn\ast xn+b={\sum }_{j=1}^{n}wj\ast xj=w^T\ast x+b$
令$x0=1，w0=b$，则：
$z$