DL入门第一日——感知器

感知器

(文中图原型取自《机器学习》，全为笔者临摹图)

神经元（Neuron）

上图为“M-P神经元”

1、其他神经元传来的n个输入信号X，通过带权（w）连接传给神经元。

2、神经元收到的总输入值与其本身阈值比较。

3、通过激活函数（阶跃函数）y，产生输出。

ps. 理想的激活函数，应只有0(神经元抑制)，1(神经元兴奋)。但其曲线不够平滑。

实际中，常用Sigmoid函数作为激活函数。

把多个神经元按一定层次结构连接起来，就可得到神经网络。

感知机(Perception，最简形式的BP神经网络)

由两层神经元组成

	ω1	ω2	θ	y
X1∧X2	1	1	2	y = f(1*X1 + 1*X2 - 2) = 1
X1∨X2	1	1	0.5	y = f(1*X1 + 1*X2 - 0.5) = 1
¬X1	-0.6	0	-0.5	y = f(-0.6*X1 + 0.5) X1=1, y=0 X1=0, y=

感知机只拥有一层功能神经元，其学习能力极为有限（只能将线性可分的数据分为2类）。

学习目的：求一个将训练集的正负实例点完全正确分开的分离超平面。

学习策略：定义经验损失函数，将其极小化。

学习算法：确定初始权值w，偏移量b，然后通过随机梯度下降改变w、b的值，从而移动分离超平面，使正负实例点完全分开。

感知器

上图为一个单层感知器

组成：输入值X，权值w，偏移量b，求和函数，临界值函数，与输出值组成

实际应用中直接使用感知器的场合并不多，但其为很多复杂算法的基础。

解决非线性问题，需使用多层神经元。

多层神经元

输入层与输出层中间的那部分为隐含层，其与输出层一般拥有激活函数。