Datawhale×李宏毅苹果书AI夏令营

       这个暑假末尾，我打算通过观看《深度学习详解》和 李宏毅老师 21年的机器学习课程视频，来学习/复习一下深度学习的理论，于是报名了Datawhale训练营，大家一起练更有氛围。

书籍简介

《深度学习详解》主要内容源于《机器学习》（2021年春），选取了《机器学习》（2017年春） 的部分内容，在这些基础上进行了一定的原创，补充了不少除这门公开课之外的深度学习相关知识。

为了尽可能地降低阅读门槛，笔者对这门公开课的精华内容进行选取并优化，对所涉及的公式都给出详细的推导过程，对较难理解的知识点进行了重点讲解和强化，以方便读者较为轻松地入门。

在理论严谨的基础上，本书保留了公开课中大量生动有趣的例子，帮助读者从生活化的角度理解深度学习的概念、建模过程和核心算法细节，包括——

卷积神经网络、Transformer、生成模型、自监督学习（包括 BERT 和 GPT）等深度学习常见算法，对抗攻击、领域自适应、强化学习、元学习、终身学习、网络压缩等深度学习相关进阶算法。

开源教程还获得了李宏毅老师的推荐~

链接指路：https://github.com/datawhalechina/leedl-tutorial（欢迎大家star~）

 

1.理论部分

1）局部极小值点与鞍点

这里就不放具体内容了，鼓励大家自行去看，看完回答这几个问题，检验自己是否掌握了要点。

Q1：以下概念的定义是什么？

1.局部极小值

2.鞍点

3.临界点

4.海森矩阵

Q2：如何判断临界点？

Q3：逃离鞍点的方法是什么？

 

提示：如果有不会的可以通过查资料了解了一下，或者先记住疑问，书籍后面（可能不同章节）也许会读到相关内容～

 

2）批量和动量

Q1：以下概念的定义是什么？

1.并行计算

2.自适应学习率

3.梯度

4.损失

Q1.1：损失和梯度的关系是什么？

 

Q2：以下方法的原理、步骤及适用场景是什么？

1.批量梯度下降法(BGD)

Q2.1：批量大小对梯度下降法的影响是什么？

2.随机梯度下降法(SGD)

3.动量法

 

 

 

2.实践部分

“纸上得来终觉浅，绝知此事要躬行”

打算应用优化策略复现一个大模型训练案例（例如BERT、ResNet和ImageNet等）。

 

 

p.s.因为这几天天天熬夜，免疫力下降，被空调吹感冒了，休息一段时间再回来补坑！

 

 

3.感想

Datawhale真的是很棒的开源社区，适合零基础想要入门AI的同学，喜欢社群讨论问题的氛围的同学，以及愿意分享你的智慧让大家共同进步的同学（有奖励机制）！

 

学习链接：https://linklearner.com/activity/16/15/43