机器学习笔记

神经网络：神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。

有神经元，有激活函数 （阀值）

感知机是两层神经元组成，

多层前馈神经网络：每层神经元与下一层神经元完全互连，神经元之间不存在同层连接，也不存在跨层链接，这样的神经网络结构通常称为多层前馈神经网络。

最好的神经网络算法：误差逆传播算法（BP算法）

深度学习模型就是很深层的神经网络。增加隐层的数目显然比增加隐层神经元的数目更有效。

另一种节省开销的策略是权共享，让一组神经元使用相同的链接权，这策略在卷积神经网络（CNN）中用到。