![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
文章平均质量分 94
樱缘之梦
这个作者很懒,什么都没留下…
展开
-
深度学习——模型的压缩和加速
1. 简介随着深度学习发展,越来越多的模型被发现和应用,模型的体量也越来越大,出现了模型过于庞大和参数冗余的问题。同时,移动端对模型的需求也是越轻量越好,因此,模型压缩和加速技术应运而生。模型压缩和加速的方案有4种:参数修剪和共享(去除不重要的参数)、低秩分解(使用矩阵/张量分解来估计深层CNN【应该适应于其他神经网络模型】中具有信息量的参数)、迁移/压缩卷积滤波器(通过设计特殊结构的卷积核以减少存储和计算成本)、知识精炼(设计教师模型和学生模型,即训练一个更加紧凑的神经网络模型以再现大型网络的输出原创 2022-01-27 17:26:35 · 3054 阅读 · 1 评论 -
Transformer模型拆解分析
资源来自:DataWhale学习资料最近看了DataWhale 的Transformer图解,突然对Transformer的结构图有了更加清晰的理解,特此记录。1、大框架Transformer是由6个encoder和6个decoder组成,模型的具体实现是model变量里边,参数有Encoder[编码器]、Decoder[解码器]、Embedding(src_vocab)[输入文本进行词向量化]、Embedding(tgt_vocab)[目标文本进行词向量化],Genera...原创 2021-09-13 14:13:25 · 1256 阅读 · 0 评论 -
深度学习-超参数调优
在机器学习中有很多调优的方式机器学习——超参数调优,深度学习中也存在同样的方式原创 2021-06-03 10:35:49 · 2366 阅读 · 0 评论 -
深度学习之负荷分解——LSTM(一对多)任务场景
1.任务场景以家庭为例,假设该家庭有m种电器和总负荷的曲线,其中,总负荷为,各个电器的负荷有(m是电器个数,n是n个时刻)。我们需要通过对总负荷曲线进行分解,识别出该负荷有几种电器同时运行实现。之前的博客已经用NILMTK的组合优化和因子隐马尔可夫实现过了,因为效果不是很好,考虑用LSTM实现。2.算法原理RNN是循环神经网络,与CNN不同,循环神经网络可以很好地处理文本数据变长且有序的输入序列。RNN设计的初衷是解决长距离输入之间的依赖,但是在用基于时间距离的反向传播算法(BPTT)时,会原创 2021-05-26 15:10:10 · 3830 阅读 · 6 评论 -
tensorflow入门
Tensorflow是深度学习的热门框架 计算图是Tensorflow中最基本的概念,Tensorflow中的所有计算都会被转化为计算图中的节点。Tensor是张量,这里可以理解为多维数组,Flow则体现了它的计算模型,直观地表达了张量之间通过计算相互转化的过程。Tensorflow本身就是一个通过计算图的形式来表达计算的编程系统。Tensorflow的每一个计算都是计算图上的一个节点,而节...原创 2018-03-27 14:52:27 · 198 阅读 · 0 评论