《深度学习》学习笔记（十二）

最新推荐文章于 2024-08-23 13:59:54 发布
最新推荐文章于 2024-08-23 13:59:54 发布
阅读量979 收藏
点赞数 1
分类专栏： 深度学习 文章标签： 神经网络压缩 网络修剪 知识蒸馏 参数量化 架构设计
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43135165/article/details/124514653
版权

本篇博文主要介绍神经网络压缩（network compression）

文章目录

network pruning

把network里面的一些参数剪掉，一次先剪掉一点参数，修剪的单位可以用参数，也可以用神经元。
在这里插入图片描述
两种单位的区别如下：
在这里插入图片描述
以参数为单位的pruning
在这里插入图片描述
以神经元为单位的pruning
在这里插入图片描述
大的network更好train，直接训练小的network可能训练不起来
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

knowledge distillation

在这里插入图片描述
ensemble：average many models
在这里插入图片描述
在这里插入图片描述

parameter quantization

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

architecture design

在这里插入图片描述
在这里插入图片描述
考虑
在这里插入图片描述
在这里插入图片描述
减少参数的一个常用的办法
在这里插入图片描述

dynamic computation

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

白炎灵
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
深度学习知识点全面总结
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
01-05 24万+
本文详细介绍深度学习概念及原理，参考网上相关资料汇总，内容包含众多章节，包括神经网络基础及常见深度学习网络结构介绍，用于个人学习总结，适合深度学习初学者学习。同时介绍机器学习常见的分类算法：SVM、神经网络、随机森林、逻辑回归、KNN、贝叶斯。常见的监督学习算法：感知机、SVM、人工神经网络、决策树、逻辑回归.........
大牛的《深度学习》笔记，Deep Learning速成教程
weixin_40920183的博客
11-03 965
导读深度学习，即Deep Learning,是一种学习算法（Learning algorithm）,亦是人工智能领域的一个重要分支。从快速发展到实际应用，短短几年时间里，深度学习颠覆了语...
深度学习笔记 4 过拟合+欠拟合+解决方案
qq_41134483的博客
10-14 2986
过拟合、欠拟合及其解决方案，正则化方法
DeepLearning（基于caffe）优化策略（1）--Normalization篇：BN、WN、LN
龙王Black的博客
05-31 2067
我们知道，深度学习是一种高性能的解决模式识别问题的模型算法，尤其是在计算机视觉方面，但随之而来的，对深度学习进行优化也成为了一个大家讨论的话题。这次总结的是三种深度学习的Normalization。
PyTorch深度学习入门笔记（十二）神经网络-非线性激活
一名FPGA芯片设计爱好者的技术博客
01-27 1837
课程学习笔记，课程链接 学习笔记同步发布在我的个人网站上，欢迎来访查看。 一、非线性激活常用函数介绍 非线性激活的目的是为了给我们的神经网络引入一些非线性的特质。 依然是打开官方文档： 比较常用的函数是 nn.ReLu: 1.1 ReLU 对应的函数图是： 参数：inplace=True时，会修改 input 为非线性激活后的结果；inplace=False时，则不会修改 input ，input仍然为原值。 示例代码： import torch from torch import nn from
深度学习吴恩达笔记
liuzhiyuanzui的博客
10-15 1827
个人笔试，不全
李宏毅深度学习笔记——呕心整理版
Red_Elf的博客
12-06 5214
机器学习就是寻找一个复杂函数。深度学习的函数就是类神经网络。
【李沐】动手学深度学习 学习笔记
热门推荐
chenxiaowai_的博客
03-21 1万+
你好！这是【李沐】动手学深度学习v2-基于pytorch版本的学习笔记教材源代码安装教程（安装pytorch不要用pip，改成conda，pip太慢了，下载不下来）个人推荐学习学习笔记本节代码文件在源代码文件的chapter_deep-learning-computation/custom-layer.ipynb中不带参数的层下面的CenteredLayer类要从其输入中减去均值。要构建它，我们只需继承基础层类并实现前向传播功能。让我们向该层提供一些数据，验证它是否能按预期工作。带参数的层。
深度学习笔记
m0_45805664的博客
11-08 2174
Input 0 of layer sequential is incompatible with the layer: expected axis -1 of input shape to have value 3 but received input with shape [None, 224, 224, 4]
吴恩达深度学习笔记.pdf
11-21
【吴恩达深度学习笔记】是一份针对吴恩达教授在Coursera平台上的深度学习课程的详尽笔记，旨在帮助已有一定编程基础和机器学习知识的计算机专业人士深入理解和应用深度学习技术。该课程分为5个部分，涵盖了深度学习...
深度学习高数学习笔记
03-09
这份"深度学习高数学习笔记"包含了山时光团队在网易云课堂上讲解的《深度学习数学基础》系列课程的精华内容，是深入理解深度学习必备的数学基础知识。 高等数学是所有理工科专业学生的基础课程，对于深度学习来说，...
李宏毅老师2021深度学习课程笔记.pdf
10-08
李宏毅老师的2021深度学习课程笔记中提到了几个关键知识点，涉及了深度学习训练技巧以及理论基础。 首先，课程提到了模型泛化能力的重要性，尤其是在模型的测试集划分上。这里提到了两种测试集的划分：public ...
Deep AI 吴恩达深度学习-课程笔记
05-04
Deep AI 吴恩达深度学习-课程笔记 本文档是吴恩达老师深度学习课程(deeplearning.ai)的笔记，旨在帮助计算机专业人士掌握深度学习技术。课程共五堂课，涵盖深度学习的基础、神经网络的构建、卷积神经网络（CNN）、...
Deeplearning深度学习笔记v5.53
08-31
Deeplearning深度学习笔记v5.53 吴恩达机器学习笔记更新--在这 5 堂课中，学生将可以学习到深度学习的基础，学会构建神经网络，并用在包括吴 恩达本人在内的多位业界顶尖专家指导下创建自己的机器学习项目。...
深度学习学习经验——全连接神经网络（FCNN）
qq_41065669的博客
08-22 788
全连接神经网络（FCNN）是最基础的神经网络结构，它由多个神经元组成，这些神经元按照层级顺序连接在一起。每一层的每个神经元都与前一层的每个神经元连接。接待区交流区和结果区。
基于深度学习的分子生成
weixin_42605076的博客
08-22 1139
基于深度学习的分子生成是一项结合化学、计算科学与人工智能的新兴领域，旨在利用深度学习模型来生成具有特定性质的分子结构。该技术在药物发现、材料科学和合成化学等领域具有广泛的应用前景。
深度学习基础—Softmax回归
sniper_fandc的博客
08-22 421
通常对于二分类问题，大家熟知的模型就是logistic回归。那么对于多分类问题呢？如果要多分类，我们可以在网络的最后一层建立多个神经元，每个神经元对应一个分类的输出，输出的是某一个分类的概率，这些概率之和为1。要想做到上述分析，就需要由Softmax激活函数组成的Softmax回归模型来解决。
深度学习学习经验——变换器（Transformer）
最新发布
qq_41065669的博客
08-23 862
变换器（Transformer）是一种用于处理序列数据的深度学习模型，与循环神经网络（RNN）不同，它不依赖于顺序处理数据，而是依靠一种称为**注意力机制**（Attention Mechanism）的技术来捕捉序列中的依赖关系。Transformer 的核心组件包括 **自注意力**（Self-Attention）和 **多头注意力**（Multi-Head Attention），这些机制使 Transformer 能够在自然语言处理、机器翻译等任务中表现出色。
物理可微分神经算法：深度学习与物理世界的桥梁
码途探索
08-22 1212
在这个信息爆炸的时代，人工智能（AI）已成为推动技术革新的关键力量。深度学习，作为AI领域的一个重要分支，已经在图像识别、自然语言处理、游戏等领域取得了令人瞩目的成就。然而，当我们试图将深度学习应用于模拟和预测复杂的物理现象时，我们面临着一系列新的挑战。物理世界是精确而有序的，其行为受到明确的物理定律的支配。传统神经网络虽然在许多任务上表现出色，但它们通常缺乏对物理规律的内在理解。这限制了它们在需要精确物理模拟的任务中的应用能力。
吴恩达深度学习课程笔记与解析
"吴恩达深度学习笔记，由黄海广主编，是针对吴恩达在deeplearning.ai平台上的深度学习课程所编写的详细学习笔记。笔记涵盖了深度学习的基础知识，包括神经网络的构建、卷积神经网络(CNN)、递归神经网络(RNN)和长短期...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值