![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
CNN
文章平均质量分 83
咕咕咕不咕
咕咕咕不咕
展开
-
学习笔记之模型的剪枝/量化/蒸馏/AutoML
(2)剪枝的方式:删去网络层上的权重的向量/整个神经元/单个像素(数据)。(7)实现原理: 压低权重,根据权重大的数据进行保留,没用的数值权重越来越小,逐渐消失。常用SGD(随机梯度下降)优化器(较温和)。(一个操作的权重升高,其他操作的权重就会降低,知道只剩下一个可选项)蒸馏的原理:先预训练一个大模型,用大模型教小模型(大模型的结果在神经元的级别上作为小模型的先验),使得小模型有大模型的精度,性能又比大模型高。(3)在工业上一般用FP32对模型进行训练(追求精度) ,对推理部分用INT8(提高性能)。原创 2022-10-24 17:00:38 · 545 阅读 · 0 评论 -
CNN基础知识
本篇文章参考其他文章、博客、定义等参考,自己总结的,如有侵权,请联系删除。CNN全称 卷积神经网络(Convolutional Neural Networks, CNN)卷积神经网络是通过神经网络反向传播自动学习的手段,来得到各种有用的卷积核的过程。卷积神经网络通过卷积和池化操作,自动学习图像在各个层次上的特征,这符合我们理解图像的常识。人在认知图像时是分层抽象的,首先理解的是颜色和亮度,然后是边缘、角点、直线等局部细节特征,接下来是纹理、几何形状等更复杂的信息和结构,最后形成整个物体的概念。典型的原创 2022-05-19 10:58:48 · 3286 阅读 · 0 评论