深度学习基础之-2.6标签值归一化

最新推荐文章于 2024-05-03 22:05:55 发布

SusanLovesTech

最新推荐文章于 2024-05-03 22:05:55 发布

阅读量1w

点赞数 16

分类专栏：深度学习文章标签：标签归一化

31 篇文章 17 订阅

订阅专栏

在计算Loss时，会达到172.287，337.246这样大的数值，一般Loss都应该小于1.

标签值也归一化公式如下：

$y_{new} = \frac{y-y_{min}}{y_{max}-y_{min}} = \frac{y-y_{min}}{y_{range}} \tag{1}$

将标签归一化之后进行训练其他操作保持不变，会得到非常小的W,B值：

w=0.01374991 -0.09151012  0.90392058
b=0.08233892
z=0.62474539

这样在预测时，z值也会非常小，只有0.62，一套房子不可能6000块钱，一平米都买不到。所以要把预测出来的值也要做反归一化。根据公式1：
$y_{new}*y_{range}+y_{min} \tag{2}$

归一化	Weight	Bias	预测值Xt	预测方法
只归一化X	$W_{norm}$ 反归一化为 $W_{real}$	$W_{norm}$ 反归一化为 $B_{real}$	不归一化 $X t$	用 $W_{real},B_{real}$ 预测
只归一化Y	使用训练结果 $W_{norm}$	使用训练结果 $B_{norm}$	归一化为 $Xt_{norm}$	用 $W_{norm},B_{norm}$ 预测
同时归一化X和Y	使用训练结果 $W_{norm}$	使用训练结果 $B_{norm}$	归一化为 $Xt_{norm}$	用 $W_{norm},B_{norm}$ 预测,再反归一化结果

X必须归一化，否则无法训练
训练出的结果W和B，在推理时有两种使用方式：
- a. 直接使用，此时必须把预测时输入的X也做相同规则的归一化
- b. 反归一化为W,B的本来值 $W_{Real},B_{Real}$ ，推理时输入的X不需要改动
Y可以归一化，好处是迭代次数少。如果结果收敛，也可以不归一化，如果不收敛（数值过大），就必须归一化
如果Y归一化，先沿袭第2步的做法，对得出来的结果做关于Y的反归一化

https://github.com/microsoft/ai-edu/blob/master/B-教学案例与实践/B6-神经网络基本原理简明教程/05.6-归一化标签值.md

关注

专栏目录