D2L-pytorch版 Task01笔记

线性回归

• 理解：为建立可联系某相关量之间关系的模型并预测真实值，并使用损失函数衡量预测值与真实值之间的误差，通过优化算法有限次迭代模型参数来尽可能降低损失函数的值。使用矢量计算可大大减少计算耗时。
• 存疑：在多个参数中，学习率是对所有参数同时起效的？如果要找到对损失函数结果影响最大的参数然后单独调整学习率该怎么办？

SoftMax与分类模型

• 理解：将所有类别输出转化为和为1的概率值，解决了直接以输出作为判别为该类的置信度时存在的值范围不确定以及难以衡量误差的问题。
• 存疑：视频23分25秒说 0 和 2 指的是取出第几个值也就是序号，25分42秒又说 0 和 2 是 y 的真实值。没弄明白。

多层感知机

• 理解：隐藏层增加网络深度，激活函数引入非线性变换使得隐藏层起作用。最常用ReLu。
• 存疑：对于只含有一个隐藏层的多层感知机，输入是256×256的图片，隐藏单元个数是1000，输出类别个数是10，则模型的所有权重矩阵Wi 的元素数量之和是？(256*256+10)*1000。需要再理解理解。