1 构建神经网络流程
输入层(input)-->神经网络层(conv)-->激励层(relu)-->池化层(pool)-->全连接层(FC)
2 归一化
目的:防止不同取值范围特征值,因为取值范围的差异,造成不同特征值的权重有所变化
方法:线性函数归一化,零均值(标准值)归一化
线性函数归一化:公式
eg:求矩阵数值的归一化结果。
max=[2 101 4],min=[1 100 2],max-min=[1 1 2]
因为同维才可以进行加减运算,所以先对max,min进行tile处理,得到
max=,min=,max-min=
根据公式可得
此方法受异值影响大
零均值归一化:公式,其中均值,
标准差
其中标准差取全体标准差还是样本标准差(后者分母应为n-1),待研究,但是使用中一般有样本,从而使用样本标准差。
此方法受异值影响不大。
需要归一化的模型有
- 线性回归
- 逻辑回归
- 支持向量机
- 神经网络
不需要归一化的模型有
- 决策树(计算的是信息增量比)
3 梯度
优化方法:
- 牛顿法 Newton’s method
- 最小二存法 Least Squares method
- 梯度下降法(求导,求积分)Gradient Descent
误差公式
简化版求梯度:
一直求导,直到找到极值位置(“躺平”的线)
可能实际上
4 神经网络概念
1)CNN(Convolutional Neural Network)卷积神经网络
广泛应用在图像处理
2)RNN(Recurrent Neural Network)循环神经网络
语音,文字,如作曲,写作,描述图片场景、情感,辨别表情
其中LSTM(Long Short-Term Memory)长短期记忆网络,是较流行的RNN型式之一,较RNN多了3个控制单元,分别为输入控制,输出控制,忘记控制
3)自编程(Autoencoder)——非监督学习
4)GAN生成对抗网络(Generative Adversarial Nets)
合成图片上有应用(A眼睛+B脸)
5 梯度::激励函数
2、3层的网路神经无需考虑用哪种函数,但是多层的需要慎重选择,涉及到梯度消失和梯度爆炸
1)relu 把直线“掰弯”
2)sigmoid
3)tanh
6 过拟合
7 优化器