李宏毅2020ML——P43-48Network Compression网络压缩

最新推荐文章于 2021-07-21 23:55:43 发布
最新推荐文章于 2021-07-21 23:55:43 发布
阅读量125 收藏 1
点赞数
分类专栏： 李宏毅2020ML 文章标签： 深度学习 网络 人工智能 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44177594/article/details/114968982
版权

Network Compression

introduce

为什么需要压缩？

是因为我们需要ML可以运用到更多的地方
在这里插入图片描述

5个方法

network Pruning

简单思想：网络清理，把一个大的Network去剪掉一些不必要的weight和neuron

现在普遍的网络都是冗余的
在这里插入图片描述
对于网络剪枝的一般步骤：
在这里插入图片描述
那我们为什么需要去剪枝呢？为什么不在一开始就去训练一个小的NN呢
在这里插入图片描述
有一个彩票假说也说明了这个问题
在这里插入图片描述
但是还有一篇Paper得到的结论完全相反
在这里插入图片描述
那么既然需要剪枝，那么见到weight和剪掉neuron哪一个更好呢
在这里插入图片描述
剪掉weight并没有加速多少
在这里插入图片描述
剪掉neuron才会有更好的结果
在这里插入图片描述

Knowledge Distillation

知识蒸馏：基本思想先训练一个大的NN，让小的NN去模拟大的NN
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Parameter Quantization

参数量化：
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Architecture Design

体系结构设计：调整架构设计

在实战中最有效的方法

多加入一个linear model 减少参数
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Dynamic Computation

动态计算法

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

小葵向前冲
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
【李宏毅2020 ML/DL】P45-50 Network Compression
记录学习痕迹的公众号：Piper蛋窝
07-31 611
模型压缩各个技术的介绍。
李宏毅深度学习——self-attention
m0_58586235的博客
03-13 366
【ML】 李宏毅机器学习课件及代码.zip
04-02
机器学习（Machine Learning, ML）是一种应用人工智能（AI）领域的科学技术，它使得计算机系统能够从数据中自动学习和改进，而无需显式编程。在机器学习的过程中，算法会通过识别和挖掘数据中的模式来构建一个模型，这个模型可以用于做出预测、分类、聚类、回归以及其他复杂的数据驱动决策。 机器学习的主要类型包括监督学习、无监督学习和半监督学习。在监督学习中，算法根据已知标签的数据集进行训练，以便对未知数据进行预测，例如分类任务（判断邮件是否为垃圾邮件）或回归任务（预测房价）。无监督学习则是在没有标签的情况下，仅凭数据本身的特征发现其中隐藏的结构或模式，如聚类分析（将用户分组到不同的客户细分群体中）。半监督学习介于两者之间，它部分数据有标签，部分数据无标签。 机器学习算法涵盖众多方法，包括但不限于逻辑回归、决策树、随机森林、支持向量机、K近邻算法、神经网络以及深度学习技术等。随着计算能力的增强和大数据时代的到来，机器学习已经在诸多领域展现出强大的功能，如图像识别、语音识别、自然语言处理、推荐系统、金融风控、医疗诊断等。 此外，机器学习的发展与统计学习、逼近论、凸优化、概率论等诸多数学和计算机科学领域紧密相关，且不断地推动着新算法和理论框架的创新与发展。同时，现代机器学习尤其是深度学习模型的内部工作机制有时难以完全解释，因此常被称为“黑箱”决策过程，这也是当前研究中的一个重要挑战。
李宏毅机器学习笔记—— 15. Network Compression( 网络压缩)
weixin_44790306的博客
07-21 2715
摘要： 本章主要是讲解了 文章目录Network Compression( 网络压缩)1. Network Pruning（网络剪枝）1.1 Network can be Pruned2. Knowledge Distillation(知识蒸馏)3. Parameter Quantization（参数量化）4. Architecture Design(架构设计)5. Dynamic Computation（动态计算）6. 总结与展望 Network Compression( 网络压缩) Network C
李宏毅2020ML——P57无监督学习-近邻嵌入
weixin_44177594的博客
03-22 105
近邻嵌入介绍局部线性嵌入LLE拉普拉斯特征映射t-SNE 介绍 流行学习 局部线性嵌入LLE 思想： 做法： 注意点： 拉普拉斯特征映射 回顾之前 做法： t-SNE 之前的缺陷： 做法： Similarity Measure 示例： ...
机器学习-27-Network Compression( 网络压缩)
迷雾总会解
12-29 1099
文章目录Network Pruning（修剪）INTRODUCTIONWhy PruningLottery Ticket Hypothesis(大乐透假说)Rethinking the Value of Network PruningPractical IssueKnowledge Distillation(知识蒸馏)Student and TeacherEnsemble（合奏）TemperatureParameter Quantization（参数量化）less bitsweight clustering
李宏毅2020ML——P78 Feature Extraction
weixin_44177594的博客
03-26 139
feature extractioninfo-GANVAE-GANBiGANTriple GANDomain-adversarial training info-GAN 希望我们的vector每一维度都有对应的特征 什么是info-GAN 为什么c代表图片的某些主要特征 实验结果 VAE-GAN VAE和GAN的组合 算法流程 BiGAN 也是在autoencoder上面进行修改 算法流程： 最佳编码器和解码器： “Autoencoder” ——Autoencoder Triple GA
李宏毅2020ML——P58 自动编码器
weixin_44177594的博客
03-23 300
自编码器introduceapplicationtext retrievalbeforeauto-encoder——text retrievalSimilar Image SearchPre-training DNNfor CNNOther Auto-encoderDe-noising auto-encodergeneration introduce 与PCA对比 can deep 效果对比 二维可视化 application text retrieval before auto-encoder
2020李宏毅学习笔记——32.Network Compression(1_6)
weixin_44554337的博客
07-01 230
1.简介 由于未来我们的模型有可能要运行在很多类似手机，手表，智能眼镜，无人机上，这些移动终端的算力和存储空间有限，因此要对模型进行压缩（变小）。本节内容从五个方面进行展开。当然也可以根据具体的硬件平台定制专门的模型架构.We will not talk about hard-ware solution today. 2.方法总结 Network Pruning Knowledge Distillation Parameter Quantization Architecture Design Dynamic
李宏毅2020作业4---RNN
⛄
01-29 548
更新进度：■■□□□□□□□□□□□□□□□□□□|10%
李宏毅2020ML——P24-31可解释性ML
weixin_44177594的博客
03-17 360
Explainable machine learningintroduceLocal Explainable基本的思想：global Explainable方法1——activation maximization方法二利用一个可解释model去解释不可解释的modelLinear Model决策数 introduce 在分类问题中，我们输入一张猫的图片，machine会告诉我们这是”猫“，但是为什么？ 问题1：为什么machine会认为这个是猫呢？ 问题2：machine眼中的猫是什么样子的呢？ 或者是m
李宏毅2020ML——P8-P9 Optimization for Learning（最优化方法）
weixin_44177594的博客
03-10 278
最优化方法SGDSGD with momentumAdagradRMSPropAdamNadamAdamW & SGDW with momentum总结 SGD 缺点：（正因为有这些缺点才让这么多大神发展出了后续的各种算法） 选择合适的learning rate比较困难 - 对所有的参数更新使用同样的learning rate。对于稀疏数据或者特征，有时我们可能想更新快一些对于不经常出现的特征，对于常出现的特征更新慢一些，这时候SGD就不太能满足要求了 SGD容易收敛到局部最优，并且在某些情况
李宏毅2020ML——tips for training DNN深度学习技巧
weixin_44177594的博客
03-15 246
tips for training DNN本节综述：Recipe of Deep Learning确定问题在哪里不是所有不好都来自于overfitting不同方法去解决不同问题如何在Training data上得到更好的performance1. New activation function梯度消失的问题ReLUhandle Vanishing gradient problemMaxoutHow to train Maxout2.Adaptive Learning RateAdagardRMSPropMo
李宏毅2020ML——P11 Logistic Regression（逻辑回归）
weixin_44177594的博客
03-12 241
Review 3 steps of machine learning Step1: function set Step2:Goodness of a function 似然函数只需要将每一个点产生的概率相乘即可，注意，这里假定是二元分类，class 2的概率为1减去class 1的概率 由于L ( w , b ) 是乘积项的形式，为了方便计算，我们将上式做个变换： 这样式子进一步改写： 如果是上面的例子就会是：（目的就是为了统一格式） 现在已经有了统一的格式，我们就可以把要minimize的对
李宏毅2020ML——P17 CNN（Convolutional Neural network）
weixin_44177594的博客
03-12 242
Convolutional Neural network引入CNN V.S. DNNWhy can we discard some parametersreason1：Some patterns are much smaller than the whole imagereason2：The same patterns appear in different regions.reason3：Subsampling the pixels will not change the objectThe whole
李宏毅2020ML——P12 Deep Learning深度学习概述
weixin_44177594的博客
03-12 211
deep learningUps and downs of Deep Learningstep1:define function(Neural Network)Matrix OperationOutput Layerexamplestep2：Goodness of functionstep3：Pick the best function Ups and downs of Deep Learning step1:define function(Neural Network) 只不过我们用neural
李宏毅2020ML——P22 semi-supervised半监督学习
weixin_44177594的博客
03-16 212
semi-supervisedintroduceSemi-supervised Learning for Generative ModelLow-density Separation AssumptionSmoothness AssumptionBetter Representation introduce 简单介绍： 为什么半监督学习会有效果呢？ Semi-supervised Learning for Generative Model 生成模型的半监督学习 监督生成模型： 半监督生成模型： 具体
李宏毅2020ML——P21-P22 RNN 循环神经网络
weixin_44177594的博客
03-16 205
Recurrent Neural Networkintroductionexample applicationSlot FillingRNN basic concept不同的变形Elman Network & Jorddan NetworkBidirectional RNNLSTMLearning TargetLoss FunctionTrainingproblemwhyHelp Techniquesmore applicationsentiment analysisKey term Extract
李宏毅机器学习HW5-Transformer数据
最新发布
08-11
李宏毅的机器学习课程中提到的HW5（作业5），可能涉及到Transformer模型在自然语言处理任务中的应用。Transformer是一种基于自注意力机制的深度学习模型，最初由Google在2017年提出的BERT（Bidirectional Encoder Representations from Transformers）就是其变种之一。 在HW5的数据部分，学生可能会接触到如何加载和预处理Transformer需要的文本数据，比如常见的英文文本数据集如IMDB电影评论、Twitter情感分析数据，或者是更专业的如WMT机器翻译任务的数据集。他们需要对数据进行分词（Tokenization）、编码（如使用WordPiece或SentencePiece）、填充零（Padding）、切分成训练、验证和测试集等步骤。 此外，可能还会涉及如何配置Transformer模型的结构参数（如头的数量、隐藏层的大小等）、调整优化器和学习率策略，并通过训练过程监控指标如 perplexity 或 BLEU分数来评估模型性能。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值