深度学习入门笔记 Day3/15 神经网络（一）

一、什么是神经网络，它和多层感知机的区别是什么？

神经网络和多层感知机的结构是类似的，区别有两点：

1. 多层感知机的偏置b在神经网络结构里变成了一个常数输入1的权重。

2. 感知机的激活函数是阶跃函数（在0处不连续），神经网络则使用的是其他连续函数，如sigmoid，ReLU等。

 

二、为什么需要激活函数？

激活函数是用来建立输入的加权和（WX）与输出（Y）的关系。

 

三、常用的激活函数有哪些？

阶跃函数、sigmoid函数、ReLU函数

 

四、为何深度学习中主要使用ReLU激活函数？

个人理解：首先激活函数要使用非线性函数来保证加深层次有意义，其次ReLU函数形式简单。