深度学习入门：神经网络基础+多层感知机

深度学习入门：神经网络基础+多层感知机

学习过程中的一些整理。

1、神经网络基础（Artificial Neural Unit）

基于人类神经元抽象得出的数学模型


人类神经元的结构：
树突（输入）：接受别的神经元传递的信息
细胞核（处理）：处理所接收的信息
轴突、轴突末梢（输出）：将细胞核处理好的信息传递给别的神经元

M-P模型的结构：
1、对应树突（输入）
Input:接受输入数据
Weights:权重，与所接收的数据相乘(对应人工神经元中的连接强度)

2、对应细胞核（处理）
Sum(Sigma):求和操作
Threadhold:激活函数(即阈值函数，当大于一定阈值时，该函数会被激活(对应人工神经元中激活和抑制两种状态))

3、对应轴突、轴突末梢（输出）
Output:输出

表达式：

神经网络构成：由大量的神经元以某种连接方式所构成的机器学习模型。

Perception（感知机）

**<w,x>**表示向量乘法
b表示偏置项(bias)（一般不会在图中绘制出）
感知机的缺点：
Perceptron不能解决异或问题。
由于Perceptron在二维平面上就是一条直线，而在二维平面中异或得出的相同结果处于对角线的位置，无法用一条直线将两种结果分隔开，所以不可能解决异或问题。
通过化简（忽略掉激活函数）得出一条直线的表达式（O不是0，是一个变量，表示输出）
最终化简为：y = kx + b ，是一条直线。
推导过程如下：

可以看出这是一条直线的表达式——一条直线当然无法解决异或问题——无法保证直线的两侧分别是同一类，说明了perceptron无法解决异或问题，这导致人工神经网络的第一次衰落。

2、多层感知机（Multi Layer Perceptron）

单层神经网络的基础上引入一个或多个隐藏层，从而使神经元有多个网络层

简单的多层感知机(上图):
也称为两层神经网络，因为只有两层(隐藏层和输出层)具有权重参数，在神经网络中只会计算有权重参数的层。
隐藏层权重参数通常写成W(4*5)：即输入(输入层