深度学习入门笔记 Day3/15 神经网络(一)

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/eowyn0406/article/details/90314686

一、什么是神经网络,它和多层感知机的区别是什么?

神经网络和多层感知机的结构是类似的,区别有两点:

1. 多层感知机的偏置b在神经网络结构里变成了一个常数输入1的权重。

2. 感知机的激活函数是阶跃函数(在0处不连续),神经网络则使用的是其他连续函数,如sigmoid,ReLU等。

 

二、为什么需要激活函数?

激活函数是用来建立输入的加权和(WX)与输出(Y)的关系。

 

三、常用的激活函数有哪些?

阶跃函数、sigmoid函数、ReLU函数

 

四、为何深度学习中主要使用ReLU激活函数?

个人理解:首先激活函数要使用非线性函数来保证加深层次有意义,其次ReLU函数形式简单。

展开阅读全文

没有更多推荐了,返回首页