随笔(3)——ANN 神经网络 初学版

人工神经网络算法

输入层：输入特征值    隐含层：非线性变化重要过程   输出层：模型输出

 

 

输入层的数值范围为：0~1   归一化处理

隐含层可以有一层或者多个隐含层  转换函数[激活函数] : sigmod，ReLu，softplus

输出层  one-hot类型  两个类别[0,1]  [1,0]  结果在0到1之间

最终输出值进行softmax转化：所有输出值相加等于1  每个输出值相当于概率

 

解题法：1，反向传播算法  前向计算——计算误差——反向单层调整(梯度下降法)——传播

达到一定误差，设置相应的迭代次数  停止该算法

2，随机梯度下降算法SGD  优点：收敛快  确定：局部最优点

容易过拟合：正则化，dropout：在每一层选择N个节点 组合为多个神经网络

 

 

import  panda