![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
神经网络
文章平均质量分 58
cling-L
要自我激励,努力克制,善于学习。
展开
-
神经网络的归一化(Normalization)
深度学习中的数据分布偏移:深度神经网络涉及到很多层的叠加,而每一层的参数更新会导致上层的输入数据分布发生变化,通过层层叠加,高层的输入分布变化会非常剧烈。虽然神经网络的各层的输入信号分布不同,但最终“指向“的样本标记是不变的,即边缘概率不同而条件概率一致。 为 了降低分布变化的影响,可使用归一化策略Normalization,把数据分布映射到一个确定的区间。 神经网络中,常用的...原创 2018-03-25 22:32:10 · 20209 阅读 · 0 评论 -
利用pytorch构建简单的CNN模型(二)
模仿VGG,利用CIFAR10数据集,构建一个简单的CNN模型1. 导入数据并做数据归一化CIFAR10的图片大小是32*32*3。datasets.CIFAR10()里,有个download=False。如果修改成True,会下载CIFAR10数据集到前述路径中。但是,一般情况下,下载会很慢。所以,建议先将CIFAR10数据集下载好,解压并保存到路径'../data'中。trans...原创 2018-04-01 15:12:42 · 2303 阅读 · 4 评论 -
[pytorch] 自定义激活函数swish(三)
在神经网络模型中,激活函数多种多样。大体都是,小于0的部分,进行抑制(即,激活函数输出为非常小的数),大于0的部分,进行放大(即,激活函数输出为较大的数)。 主流的激活函数一般都满足, 1. 非线性。信号处理里,信号通过非线性系统后,能产生新频率的信号。不妨假定,非线性有相似作用。 2. 可微性。可求导的,在反向传播中,可以方便使用...原创 2018-04-02 23:50:43 · 15359 阅读 · 2 评论 -
神经网络可视化
目前,对于神经网络每一层的输出,只是有一个大致的了解。低层的神经网络提取的是一般的、具有普适性的纹理,高层的神经网络层提取的是一些和task相关的、特殊的全局特征。每一层的输出结果是怎么作用到最终的输出,以及如何借助每一层的特征对神经网络进行优化。这些问题还是需要进一步了解的。 (所以,下一步的工作,还是想能回到神经网络特征可视化上面)...原创 2018-04-22 15:20:40 · 611 阅读 · 1 评论