day02||深度学习（李沐动手学深度学习）

学习进度：【 9/73】

线性代数：

本节代码文件在源代码文件的chapter_preliminaries/linear-algebra.ipynb中

标量由只有一个元素的张量表示

向量视为标量值组成的列表

通过张量的索引来访问任一元素

好的又出问题了，因为没有mxnet

试了一下这个语句，还是报错

李沐等主编的《动手学深度学习》Mxnet-cpu+gpu环境的搭建_mxnet 教程 李沐-CSDN博客

跟着这个教程把文件夹换了，重新安装了 

降维求和
  ①原始shape：[5,4]
    · axis=0 sum:[ 4 ]
    · axis=1 sum:[ 5 ]
  ②原始shape：[2,5,4]
    · axis=1 sum:[2,4]
    · axis=2 sum:[2,5]
    · axis=[1,2] sum:[ 4 ]

将导数拓展到向量

列向量对列向量求导

梯度指向的是值变化最大的方向

将导数拓展到矩阵

需要补充矩阵知识的学习

自动求导

本节代码文件在源代码文件的chapter_preliminaries/autograd.ipynb中

向量链式法则

自动求导的两种模式

反向累积模式

线性神经网络

线性回归

本节代码文件在源代码文件的chapter_linear-networks/linear-regression.ipynb中

线性模型可以看做是单层神经网络：

衡量预估质量（损失函数）：

训练数据

参数学习

显示解：

总结

深度学习的基础优化算法

梯度下降

通过不断地在损失函数递减的方向上更新参数来降低误差。

因为：梯度指向的是值变化最大的方向，所以：负梯度就是值下降最快的方向

超参数=要调参的地方

小批量随机梯度下降

批量大小不能太大也不能太小：

总结

线性回归的从零开始实现chapter_linear-networks/linear-regression-scratch.ipynb

• 实现流程

Softmax回归

chapter_linear-networks/softmax-regression.ipynb

回归vs分类（从回归到多类分类）

回归估计一个连续值；分类预测一个离散类别

从回归到多类分类 — 均方损失

从回归到多类分类 — 无校验比例

从回归到多类分类 — 校验比例

Softmax和交叉熵损失

总结

损失函数

损失函数用来衡量预测值与真实值之间的区别，是机器学习里非常重要的概念。下面介绍三种常用的损失函数。

①L2 Loss

蓝色曲线：表示当y=0时，变换预测值y’。
绿色曲线：表示似然函数。
橙色曲线：表示损失函数的梯度，可以发现，当y’>0时，导数为1，当y’<0时，导数为-1。

似然函数取得最大值表明该参数模型最合理

②L1 Loss

蓝色曲线：表示当y=0时，变换预测值y’。
绿色曲线：表示似然函数。
橙色曲线：表示损失函数的梯度，可以发现，当y与y’相差较大的时候，梯度的绝对值也较大。

③Huber’s Robust Loss（鲁棒损失）

Softmax回归的从零开始实现

数据集下载要翻一下墙，不然会报错