这个暑假末尾,我打算通过观看《深度学习详解》和 李宏毅老师 21年的机器学习课程视频,来学习/复习一下深度学习的理论,于是报名了Datawhale训练营,大家一起练更有氛围。
书籍简介
《深度学习详解》主要内容源于《机器学习》(2021年春),选取了《机器学习》(2017年春) 的部分内容,在这些基础上进行了一定的原创,补充了不少除这门公开课之外的深度学习相关知识。
为了尽可能地降低阅读门槛,笔者对这门公开课的精华内容进行选取并优化,对所涉及的公式都给出详细的推导过程,对较难理解的知识点进行了重点讲解和强化,以方便读者较为轻松地入门。
在理论严谨的基础上,本书保留了公开课中大量生动有趣的例子,帮助读者从生活化的角度理解深度学习的概念、建模过程和核心算法细节,包括——
卷积神经网络、Transformer、生成模型、自监督学习(包括 BERT 和 GPT)等深度学习常见算法,对抗攻击、领域自适应、强化学习、元学习、终身学习、网络压缩等深度学习相关进阶算法。
开源教程还获得了李宏毅老师的推荐~
链接指路:https://github.com/datawhalechina/leedl-tutorial(欢迎大家star~)
1.理论部分
1)局部极小值点与鞍点
这里就不放具体内容了,鼓励大家自行去看,看完回答这几个问题,检验自己是否掌握了要点。
Q1:以下概念的定义是什么?
1.局部极小值
2.鞍点
3.临界点
4.海森矩阵
Q2:如何判断临界点?
Q3:逃离鞍点的方法是什么?
提示:如果有不会的可以通过查资料了解了一下,或者先记住疑问,书籍后面(可能不同章节)也许会读到相关内容~
2)批量和动量
Q1:以下概念的定义是什么?
1.并行计算
2.自适应学习率
3.梯度
4.损失
Q1.1:损失和梯度的关系是什么?
Q2:以下方法的原理、步骤及适用场景是什么?
1.批量梯度下降法(BGD)
Q2.1:批量大小对梯度下降法的影响是什么?
2.随机梯度下降法(SGD)
3.动量法
2.实践部分
“纸上得来终觉浅,绝知此事要躬行”
打算应用优化策略复现一个大模型训练案例(例如BERT、ResNet和ImageNet等)。
p.s.因为这几天天天熬夜,免疫力下降,被空调吹感冒了,休息一段时间再回来补坑!
3.感想
Datawhale真的是很棒的开源社区,适合零基础想要入门AI的同学,喜欢社群讨论问题的氛围的同学,以及愿意分享你的智慧让大家共同进步的同学(有奖励机制)!