初识神经网络

最新推荐文章于 2023-01-03 23:37:42 发布

kokokooo

最新推荐文章于 2023-01-03 23:37:42 发布

阅读量102

点赞数

分类专栏： Tensorflow 文章标签：神经网络深度学习

本文链接：https://blog.csdn.net/kokokooo/article/details/114923774

版权

Tensorflow 专栏收录该内容

1 篇文章 0 订阅

订阅专栏

1 构建神经网络流程
输入层（input）-->神经网络层（conv）-->激励层(relu)-->池化层(pool）-->全连接层（FC）

2 归一化
目的：防止不同取值范围特征值，因为取值范围的差异，造成不同特征值的权重有所变化
方法：线性函数归一化，零均值（标准值）归一化

线性函数归一化：公式 $Xnew=\frac{Xold-Xmin}{Xmax-Xmin}$
eg:求矩阵数值 $\begin{bmatrix} 1&101&2\\ 2&100&4 \end{bmatrix}$ 的归一化结果。

max=[2 101 4]，min=[1 100 2],max-min=[1 1 2]

因为同维才可以进行加减运算，所以先对max，min进行tile处理，得到

max= $\begin{bmatrix} 2&101&4\\ 2&101&4 \end{bmatrix}$ ,min= $\begin{bmatrix} 1&100&2\\ 1&100&2 \end{bmatrix}$ ,max-min= $\begin{bmatrix} 1&1&2\\ 1&1&2 \end{bmatrix}$

根据公式可得 $Xnew=\frac{Xold-Xmin}{Xmax-Xmin}=\frac{\begin{bmatrix} 0&1&0 \\ 1&0&2 \end{bmatrix}}{\begin{bmatrix} 1&1&2 \\ 1&1&2 \end{bmatrix}}=\begin{bmatrix} 0&1&0 \\ 1&0&1 \end{bmatrix}$

此方法受异值影响大

零均值归一化：公式 $Xnew=\frac{(Xold-\mu )}{\sigma }$ ，其中均值 $\mu =\frac{X1+X2+\cdots +Xn}{n}$ ，

标准差 $\sigma =\sqrt{\frac{(X1-\mu)^{2 }+(X2-\mu) ^{2}+\cdots +(Xn-\mu)^{2 }}{n}}$

其中标准差取全体标准差还是样本标准差（后者分母应为n-1）,待研究，但是使用中一般有样本，从而使用样本标准差。

此方法受异值影响不大。

需要归一化的模型有

线性回归
逻辑回归
支持向量机
神经网络

不需要归一化的模型有

决策树（计算的是信息增量比）

3 梯度

优化方法：

牛顿法 Newton’s method
最小二存法 Least Squares method
梯度下降法（求导，求积分）Gradient Descent

误差公式

简化版求梯度：

一直求导，直到找到极值位置（“躺平”的线）

可能实际上

4 神经网络概念

1）CNN(Convolutional Neural Network)卷积神经网络

广泛应用在图像处理

2）RNN（Recurrent Neural Network）循环神经网络

语音，文字，如作曲，写作，描述图片场景、情感，辨别表情

其中LSTM（Long Short-Term Memory）长短期记忆网络，是较流行的RNN型式之一，较RNN多了3个控制单元，分别为输入控制，输出控制，忘记控制

3）自编程（Autoencoder）——非监督学习

4）GAN生成对抗网络（Generative Adversarial Nets）

合成图片上有应用(A眼睛+B脸）

5 梯度：：激励函数

2、3层的网路神经无需考虑用哪种函数，但是多层的需要慎重选择，涉及到梯度消失和梯度爆炸

1）relu 把直线“掰弯”

2）sigmoid

3）tanh

6 过拟合

7 优化器

kokokooo

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
初识神经网络

1 构建神经网络流程输入层（input）-->神经网络层（conv）-->激励层(relu)-->池化层(pool）-->全连接层（FC）2 归一化目的：防止不同取值范围特征值，因为取值范围的差异，造成不同特征值的权重有所变化方法：线性函数归一化，零均值（标准值）归一化线性函数归一化：公式eg:求矩阵数值的归一化结果。 max=[2 101 4]，min=[1 100 2],max-min=[1 1 2] 因为同维才可以进行加减运算，所以先对max，min进行til...
复制链接

扫一扫