一、神经网络
神经网络最早是作为一种主要的连接主义模型。其有3个主要特性：
1）信息表示是分布式的（非局部的）；
2）记忆和知识是存储在单元之间的连接上；
3）通过逐渐改变单元之间的连接强度来学习新的知识。
引入误差反向传播来改进其学习能力之后，神经网络也越来越多地应用在各种机器学习任务上。
二、激活函数的性质
连续并可导（允许少数点上不可导）的非线性函数。
可导的激活函数可以直接利用数值优化的方法来学习网络参数。
激活函数及其导函数要尽可能的简单
有利于提高网络计算效率。
激活函数的导函数的值域要在一个合适的区间内
不能太大也不能太小，否则会影响训练的效率和稳定性。
单调递增
三、常见的激活函数
性质：
- 饱和函数
- Tanh函数是零中心化的，而logistic函数的输出恒大于0
四、前馈神经网络（全连接神经网络、多层感知机）
各神经元分别属于不同的层，层内无连接。
相邻两层之间的神经元全部两两连接。
整个网络中无反馈，信号从输入层向输出层单向传播，可用一个有向无环图表示
前馈神经网络通过下面公式进行信息传播。
前馈计算：
3万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
