机器学习--人工神经网络 学习笔记

1神经元的数学模型--MP模型

2.感知器算法

在训练数据集线性可分时，感知器算法一定会收敛，但取得的效果一般没有支持向量机好 

• 感知器算法的意义：

感知器算法已经逐渐不被使用，但对机器学习的历史意义非常深远，机器算法的框架由来与感知器算法密不可分

支持向量机是将所有的训练数据集输入，求得一个全局最优解，感知器算法是输入一部分数据集，在经过循环，求得一个相对较优解

3.多层神经网络

• 

•  非线性函数
•  举例说明阶跃函数实现多层神经网络
• 

4.梯度下降算法 

• 

 4.1后向传播算法

 梯度下降算法中，要计算9个偏导数，计算量较大，实质上这九个偏导数是相互关联的，可以先求其中几个偏导数，再用链式求导法求解其他的偏导数，减少计算量

•  一般情况下反向传播算法的流程

 

 

4.2.后向传播算法的改进

1.由于阶跃函数在0处的导数不好求得，因此可用sigmoid函数或tanh（双曲正切函数）代替阶跃函数作为非线性函数

2.用softmax函数和交叉熵结合作为目标函数，代替1/2(y-Y)^2

3.随机梯度下降法：

 

 

5.训练神经网络的经验 

• 

 

 

•