机器学习
文章平均质量分 92
CV小蜗牛
这个作者很懒,什么都没留下…
展开
-
Batch Normalization
Batch Normalization1、什么是Batch Normalization以前在神经网络训练中,只是对输入层数据进行归一化处理,却没有在中间层进行归一化处理。要知道,虽然我们对输入数据进行了归一化处理,但是输入数据经过 $ \sigma(WX+b) $ 这样的矩阵乘法以及非线性运算之后,其数据分布很可能被改变,而随着深度网络的多层运算之后,数据分布的变化将越来越大。如果我们能在网络的中间也进行归一化处理,是否对网络的训练起到改进作用呢?答案是肯定的。这种在神经网络中间层也进行归一化处理,使原创 2022-01-13 11:41:42 · 262 阅读 · 0 评论 -
装饰器和深度学习框架中的注册机制
预备知识——装饰器为什么要使用装饰器这种在代码运行期间动态增加功能的方式,称之为“装饰器”(Decorator)我们先来看下面的例子,现有一个求和函数add,现在要求统计函数执行的时长def add(a, b): print(a + b)最简单直观的做法1如下:def add(a, b): start = time.time() print(a + b) time.sleep(2) # 模拟耗时操作 long = time.time() - start原创 2021-02-25 16:01:41 · 856 阅读 · 4 评论