DyingNights的博客

专业名词：Fully Connected Network、多层感知机、Gradient Descent。欠拟合（后果：不贴合当前值）与过拟合（后果：界外预测不准）：层数与参数不一定越多或越少更好，适当。梯度回传过程：从结尾出发，拿真实值依次算loss更新权重。与矩阵的关系 eg. Linear(4,3)的部分。深度学习在一些简单问题上不太行 eg.判断偶函数。激活函数：使预测的函数或者模型更加多样化，key word：参数与深度，激活函数。梯度下降（前向过程，梯度回传过程）

loss函数：L(w, b) ：l= |Y（预测值） - y（真实值）| = | xw+b - y| L(w,b)=优化二次：𝑤2 ← 𝑤1 − 𝜂 𝜕𝐿/𝜕𝑤 |𝑤=𝑤1,𝑏=𝑏 0 （人为设置的𝜂超参数）(b不变的情况)优化一次：𝑤1 ← 𝑤0 − 𝜂 𝜕𝐿/𝜕𝑤 |𝑤=𝑤0,𝑏=𝑏 0。....(直到𝑤∗ , 𝑏 ∗ = 𝑎𝑟𝑔 min (𝑤,𝑏 )L)输出任务分类：回归（识别物体），分类（选择题），结构化（chatgpt）输入形式分类：向量（普通数据），矩阵（图片），序列（一句话，视频）