模型优化
闲看庭前雪
热爱学习,热爱科研,热爱学习的大雪人,用爱来爱每一个爱我的人,用心去做每一件值得用心去做的事。
展开
-
论文小结——基于聚类演化随机森林的阿尔兹海默症的多模态数据分析
系列文章目录提示:这里可以添加系列文章的所有文章的目录,目录需要自己手动添加例如:第一章 Python 机器学习入门之pandas的使用基于聚类演化随机森林的阿尔兹海默症的多模态数据分析系列文章目录前言一、全局总览二、使用步骤1.引入库2.读入数据总结前言这篇博客只是我总结自己对这篇论文的理解,还存在许多理解不到位和理解错误的地方,还请大家批评和指正。这篇论文题目为:Multimodal Data Analysis of Alzheimer’s Disease Based on Clus原创 2020-11-30 15:28:01 · 2768 阅读 · 2 评论 -
李宏毅作业七其三 Network Compression (Network Pruning)
Network Compression ——Network Pruning前言一、Network Pruning是什么?Weight & Neuron Pruning对于修剪网络并不简单,这里只是给出了相对简单的修剪方法。What to Prune?如何操作?细节二、代码示例1.加载数据和定义环境2.network purning3.数据处理4.预处理5.Start Training前言网络结构会存在冗余,所以我们要想办法删除里面的神经元neuron或者优化里面的权重weight。删除里面的神经原创 2020-11-05 15:17:13 · 1001 阅读 · 5 评论 -
李宏毅作业七其二 Network Compression (Knowledge Distillation)
Network Compression ——Knowledge Distillation前言一、knowledge distillation是什么?1.原理2.KL散度3.Readme二、使用步骤1.引入库2.读入数据总结前言知识蒸馏,实质上就是用训练好的网络告诉没训练的网络如何学习。一、knowledge distillation是什么?1.原理知识蒸馏(暗知识提取)的概念,即通过引入与教师网络(teacher network:复杂、但推理性能优越)相关的软目标(soft-target)作为.原创 2020-11-05 14:20:36 · 1516 阅读 · 10 评论 -
李宏毅作业七其一 Network Compression (Architecuture Design)
Network Compression ——Architecuture Design前言一、Architecture Design``1.基础知识2.代码细节二、代码示例小结前言整个作业七讲的是网络模型的压缩,使整个模型不再臃肿。减少计算量的同时,保持原有精度,甚至超越之前。算力是受到物理因素限制的,如何提高算力的利用率是一件值得探索的事。本文通过学习李宏毅作业,给出自己的理解和相关代码的注释。李宏毅作业给出了四种方法。知识蒸馏 Knowledge Distillation网络修剪 Networ原创 2020-11-05 10:11:52 · 704 阅读 · 2 评论