本文探讨了深度学习中的关键概念，如参数与矩阵关系在Linear(4,3)层的表示，激活函数（sigmoid和ReLU）的作用，以及梯度下降（前向传播和梯度回传）在模型训练中的重要性。同时提到了欠拟合与过拟合的概念，强调深度学习并非总是复杂度越高越好，适合的问题类型和参数选择至关重要。
key word：参数与深度，激活函数
与矩阵的关系 eg. Linear(4,3)的部分
𝑟1 = 𝑏1 + 𝑤11𝑥1 + 𝑤12𝑥2 + 𝑤13𝑥3 +𝑤14𝑥4
𝑟2 = 𝑏2 + 𝑤21𝑥1 + 𝑤22𝑥2 + 𝑤23𝑥3 +𝑤24𝑥4
𝑟3 = 𝑏3 + 𝑤31𝑥1 + 𝑤32𝑥2 + 𝑤33𝑥3 +𝑤34𝑥4
𝒓 = 𝒃 + 𝑊 x
激活函数：使预测的函数或者模型更加多样化，
eg. sigmoid,relu
(对应上面)
梯度下降（前向过程，梯度回传过程）
梯度回传过程：从结尾出发，拿真实值依次算loss更新权重。
欠拟合（后果：不贴合当前值）与过拟合（后果：界外预测不准）：层数与参数不一定越多或越少更好，适当
深度学习在一些简单问题上不太行 eg.判断偶函数
专业名词：Fully Connected Network、多层感知机、Gradient Descent
扫一扫
5587
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
