![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
文章平均质量分 77
迟迟迟迟迟子
这个作者很懒,什么都没留下…
展开
-
Network Compression
听课(李宏毅老师的)笔记,方便梳理框架,以作复习之用。本节课主要讲了Network Compression,包括为什么要压缩,压缩的主要手段(pruning,knowledge distillation,parameter quantization,architecture design,dynamic computation)原创 2024-05-14 21:01:47 · 588 阅读 · 0 评论 -
Lesson 9 Transformer
听课(李宏毅老师的)笔记,方便梳理框架,以作复习之用。本节课主要讲了seq2seq model简介,以及应用,架构(包括encoder和decoder,encoder和decoder之间如何协作),怎样训练transformer,train 时的一些tips。原创 2024-04-02 22:01:57 · 932 阅读 · 2 评论 -
Lesson 8 Batch Normalization
听课(李宏毅老师的)笔记,方便梳理框架,以作复习之用。本节课主要讲了batch normalization是什么,为什么要用batch normalization,是用来解决什么问题的,以及batch normalization在测试和训练上不同的计算方法。原创 2024-04-01 21:29:33 · 540 阅读 · 0 评论 -
Lesson 7 Self-attention
听课(李宏毅老师的)笔记,方便梳理框架,以作复习之用。本节课主要讲了self-attention的输入输出,内部架构和工作流程计算方法,以及介绍了更高阶的self-attention——muli-head self-attention,还有位置编码,self-attention的应用以及与其他网络的对比。原创 2024-04-01 16:57:16 · 849 阅读 · 0 评论 -
Lesson 6 Convolutional Neural Network(CNN)
听课(李宏毅老师的)笔记,方便梳理框架,以作复习之用。本节课主要讲了CNN的适用范围,整体架构与工作流程,CNN的应用,CNN的缺点以及解决方法。原创 2024-03-09 16:07:08 · 778 阅读 · 0 评论 -
Lesson 5 Classification(short version)
听课(李宏毅老师的)笔记,方便梳理框架,以作复习之用。本节课主要讲了回归和分类的区别,分类的过程,分类的损失函数。这节课比较简短。原创 2024-03-09 13:45:28 · 348 阅读 · 0 评论 -
Lesson 4 adaptive learning rate
听课(李宏毅老师的)笔记,方便梳理框架,以作复习之用。本节课主要讲了变化学习率的必要性,几种变化学习率,加入Momentum的Optimization。原创 2024-03-05 11:06:35 · 263 阅读 · 0 评论 -
Lesson 3 when gradient is small
听课(李宏毅老师的)笔记,方便梳理框架,以作复习之用。本节课主要讲了优化失败的原因,batch大小对训练的影响,使用Momentum方法来解决梯度下降时无法逃离critical point的现象。原创 2024-03-04 11:43:42 · 348 阅读 · 1 评论 -
Lesson 2 what to do if your network fails to train
听课(李宏毅老师的)笔记,方便梳理框架,以作复习之用。本节课主要讲了遇到模型训练结果不好的时候该怎么快速判断哪里出了问题,以及部分的应对方法。原创 2024-02-28 11:41:30 · 313 阅读 · 0 评论 -
Lesson 1 introduction of machine /deep learning
听课(李宏毅老师的)笔记,方便梳理框架,以作复习之用。本节课主要介绍了什么是机器学习,机器学习的类型和流程,用一个现实中的例子详细地展示了整个工作流程。原创 2024-03-01 14:06:29 · 399 阅读 · 0 评论