深度学习笔记理论篇:归一化

先贴一张阅读paper的一部分

实际上啊读到这里,我就对这个行归一化产生了疑问,什么是归一化?归一化的作用是什么呢?

(题外话:最近看了李沐对如何读文献的一些见解,个人感觉很受用,建议初读文献的小伙伴们可以去看看)

注:本人数学功底尚浅,许多知识无法介绍,有待进一步学习,本笔记只讨论了归一化的学习范围.

首先让我们看看广义归一化的解释:

归一化（normalization）是一种简化计算的方式，即将有量纲的表达式，经过变换，化为为无量纲的表达式，成为标量。 在多种计算中都经常用到这种方法,一般是数据科学领域(感觉深度学习也很数据科学有没有)

那么,什么是量纲呢?一个通俗的解释:一个量的量纲只表示该量的性属, 而不表示该量的大小。所以量纲只用来定性地描述物理量.(很遗憾量纲分析没有接触过)

那么我们可以理解为:归一化,NORMALIZATION是一种把许多带有不同量纲的数据(不同属性的数据)给整合到一个评价体系里的算法(我是这样理解的)

Normalization将一组数据进行指定范围的变换，一般这个区间是[0, 1],但是也可以根据需要进行规定

自己用matlab写的小图