深度学习入门笔记之神经网络基础

深度学习入门

一、神经网络基础

1.人工神经元

从人类神经元中抽象出来的数学模型

Threshold指的是激活函数 , 当输入达到一定阈值时 , 函数会被激活

∑和Threshold组成了对信息处理的模块 , 对应人类的神经元的细胞核

output对应人类神经元的神经末梢

input对应人类神经元的树突

人工神经网络是大量的人工神经元以某种连接方式构成的机器学习模型

连接的权重表示神经元与神经元之间连接的强弱

$o=\sigma (<w,x>+b)$ // 其中 , b是指bias表示偏置 , σ表示激活函数

2.多层感知机

单层神经网络基础上引入一个或多个隐藏层 , 使神经网络有多个网络层 , 由此称其为多层感知机

数据的前向传播 : 以上图为例 , 输入的数据是一个 $X_{1\ast 4}$ 的向量 , 第一个隐藏层是一个 $H_{1\ast 5}$的向量 , 其中的运算过程如下
$$\sigma (X_{1\ast 4}\cdot W_h)=H_{1\ast 5}$$
这里 $W_h$是输入层和第一个隐藏层之间的权重矩阵 , $\sigma (X_{1\ast 4}\cdot W_h)$是多层感知机的激活函数

多层感知机必须要有激活函数 ,如果没有激活函数的话, 多层感知机就会退化成单层网络 , 以一个包含一层隐藏层的多层感知机为例

$$H=X{W}_h+b_h$$

$$O=H{W}_o+b_{o}O=(X{W}_h+b_h)W_o+b_o=X{W}_h{W}_o+$$