![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
RNN
文章平均质量分 80
咕咕咕不咕
咕咕咕不咕
展开
-
学习笔记之模型的剪枝/量化/蒸馏/AutoML
(2)剪枝的方式:删去网络层上的权重的向量/整个神经元/单个像素(数据)。(7)实现原理: 压低权重,根据权重大的数据进行保留,没用的数值权重越来越小,逐渐消失。常用SGD(随机梯度下降)优化器(较温和)。(一个操作的权重升高,其他操作的权重就会降低,知道只剩下一个可选项)蒸馏的原理:先预训练一个大模型,用大模型教小模型(大模型的结果在神经元的级别上作为小模型的先验),使得小模型有大模型的精度,性能又比大模型高。(3)在工业上一般用FP32对模型进行训练(追求精度) ,对推理部分用INT8(提高性能)。原创 2022-10-24 17:00:38 · 545 阅读 · 0 评论 -
RNN基础知识
也就是说,循环神经网络的隐藏层之间的结点是有连接的,隐藏层的输入不仅包括输入层的输出,还包括上时刻隐藏层的输出。循环神经网络的隐藏层的值s不仅仅取决于当前这次的输入x,还取决于上一次隐藏层的值s。这样,所谓的隐藏层的循环操作也就不难理解了,就是每一时刻计算一个隐藏层地值,然后再把该隐藏层地值传入到下一时刻,达到信息传递的目的。这个过程我们可以看到,输入 “time” 的时候,前面“what” 的输出也会对02的输出产生了影响(隐藏层中有一半是黑色的)。V是隐藏层到输出层的权重矩阵。原创 2022-10-24 14:10:38 · 759 阅读 · 0 评论