机器学习和深度学习
贝壳er
记录和学习
展开
-
深度学习模型压缩与加速理论与实战(一):模型剪枝
记录以下最近实验室的工作:模型的压缩和加速,虽然针对的是yolov3,但是剪枝的对象还是CBL层(即Conv Layer + BNLayer + LeakyReLU Layer),因此我觉得可能有一些通用的参考价值。文章目录通道剪枝:稀疏训练策略层剪枝:微调精度恢复训练:github剪枝顾名思义,就是通过一些算法或规则删去一些不重要的部分,来使模型变得更加紧凑,减小计算或者搜索的复杂度,一种典型的模型剪枝方法如下图:它包括四个迭代步骤:评估一个预先训练的深度模型中每个组件的重要性;剔除对.原创 2020-12-27 21:50:21 · 3362 阅读 · 4 评论 -
DL知识拾贝(Pytorch)(六):信息流的传播和训练的稳定性
前向传播和反向传播是在训练神经网络的过程中存在两个过程,从信息流的角度可以直观地解释神经网络的信息传播过程: 前向传播将输入信号通过现有参数矩阵的网络计算,直至输出产生误差,反向传播则根据误差信息更新权重矩阵。神经网络的训练,是一场以代价函数值为主导的反向传播运动,旨在得到最优的参数矩阵,进...原创 2020-12-15 14:54:57 · 382 阅读 · 0 评论 -
【汇总篇】DL知识拾贝(Pytorch)系列(持续更新中......)
1.深度学习梳理笔记(Pytorch)(一):深度学习过程的通俗理解2.深度学习梳理笔记(Pytorch)(二):关于Pytorch,你所要知道的3.深度学习梳理笔记(Pytorch)(三):DL元素之一:激活函数4.深度学习梳理笔记(Pytorch)(四):DL元素之二:损失函数5.深度学习梳理笔记(Pytorch)(五):DL元素之三:优化器6.深度学习梳理笔记(Pytorch)(六...原创 2020-02-16 20:20:28 · 292 阅读 · 1 评论 -
DL知识拾贝(Pytorch)(五):如何调整学习率
文章目录1. 等间隔调整学习率2. 按指定区间调整学习率3. 指数衰减调整学习率4. 余弦退火调整学习率5. 自适应调整学习率6. 自定义调整学习率7. warm up (CVPR 2019) 学习率对于深度学习是一个重要的超参数,它控制着基于损失梯度调整神经网络权值的速度,大多数优化算法(SGD、RMSprop、Adam)对其都有所涉及。学习...原创 2020-02-13 21:33:24 · 1353 阅读 · 0 评论 -
DL知识拾贝(Pytorch)(四):DL元素之三:优化器
这一系列的学习笔记是基于李沐等人的开源书《动手学深度学习》总结和扩展而来。感谢Pytorch版项目原作者:项目地址。原创 2020-02-13 17:45:13 · 547 阅读 · 0 评论 -
DL知识拾贝(Pytorch)(三):DL元素之二:损失函数
这一系列的学习笔记是基于李沐等人的开源书《动手学深度学习》总结和扩展而来。感谢Pytorch版项目原作者:项目地址。 个人梳理了一下学习路线,并在知识体系中扩展了一些其他的东西,例如:讨论损失函数; 图卷积网络 ; 对抗生成网络; 注意力机制;模型压缩; 轻量化网络等等。 ...原创 2020-01-16 23:08:03 · 1086 阅读 · 0 评论 -
DL知识拾贝(Pytorch)(二):DL元素之一:激活函数
这一系列的学习笔记是基于李沐等人的开源书《动手学深度学习》总结和扩展而来。感谢Pytorch版项目原作者:项目地址。 个人梳理了一下学习路线,并在知识体系中扩展了一些其他的东西,例如:讨论损失函数; 图卷积网络 ; 对抗生成网络; 注意力机制;模型压缩; 轻量化网络等等。 ...原创 2020-01-16 20:17:34 · 1207 阅读 · 0 评论 -
DL知识拾贝(Pytorch):关于Pytorch,你所要知道的
这一系列的学习笔记是基于李沐等人的开源书《动手学深度学习(PyTorch 版本)》总结和扩展而来。感谢原作者:项目地址。 个人梳理了一下学习路线,并在知识体系中扩展了一些其他的东西,例如:讨论损失函数; 图卷积网络 ; 对抗生成网络; 注意力机制;模型压缩; 轻量化网络等等。 ...原创 2020-01-16 18:07:08 · 438 阅读 · 0 评论 -
DL知识拾贝(Pytorch)(一):深度学习过程的通俗理解
这一系列的学习笔记是基于李沐等人的开源书《动手学深度学习(PyTorch 版本)》总结和扩展而来。感谢原作者:项目地址。 个人梳理了一下学习路线,并在知识体系中扩展了一些其他的东西,例如:讨论损失函数; 图卷积网络 ; 对抗生成网络; 注意力机制;模型压缩; 轻量化网络等等。 ...原创 2020-01-16 15:14:20 · 390 阅读 · 0 评论 -
(补充):深层次网络中的梯度消失和梯度爆炸现象,原因以及处理方式
关于梯度消失和爆炸,其前提是采用梯度下降办法去更新网络参数,使得代价函数最小化。出现梯度消失和爆炸的原因基本上归为两点:一,网络层次太深,由于很多网络的更新时的链式原理,使得更新信息往往指数级变化;二,采用了不合适的激活函数,比如sigmoid,梯度爆炸一般出现在深层网络和权值初始化值太大的情况下。1.深层网络角度比较简单的深层网络如下:图中是一个四层的全连接网络,假设每一层网络...原创 2019-01-28 19:56:15 · 3953 阅读 · 0 评论