第一次作业：深度学习基础

一、专知《深度学习：算法到实战》

1.深度学习：算法到实践（一）绪论

2.深度学习：算法到实践（二）神经网络基础

二、李沐《动手学深度学习在线课程》

本周课程学习为预备知识部分，详细的文档可点击查看。主要包括以下七个小部分。

1.数据操作

• 主要就是了解张量，它提供了各种功能，包括基本数学运算、广播、索引、切片、内存节省和转换其他Python对象。

2.数据预处理

• 了解pandas的使用，对于数据进行简单的处理，针对于缺失值的处理，典型的方法包括插值和删除。最后，将pandas处理的数据转化成张量格式。

3.线性代数

• 标量、向量、矩阵和张量的理解，以及对标量、向量、矩阵和张量执行各种操作。
• 数据降维，在axis = 0, 1, 2，如果不想实现降维，仍保存原维度，可以添加keepdims=True。
• 区分矩阵乘法与哈达玛积。
• 范数，包括$L_1，L_2$，弗罗贝尼乌斯范数（Frobenius norm），以及$L_p$范数。

4.微分

• 导数，微分，偏导数，梯度的理解，以及对于可视化库matplotlib的使用。

5.自动求导

• 深度学习框架可以自动计算导数。自动求导使系统能够随后反向传播梯度，注意梯度清零。
• 为什么求导的时候要进行这个sum操作，x.sum()。答：梯度只能为标量（即一个数）输出隐式地创建。

6.概率

• 学习联合分布、条件分布、Bayes定理、边缘化和独立性假设，以及期望和方差。

7.查阅文档

• 如何查找理解PyTorch函数和类。

三、总结

本周的学习主要就是对于深度学习了解，以及pytorch基础代码的练习。我认为在基础代码练习部分，容易出错的地方，便是广播机制的应用。